メインコンテンツへスキップ
A

dsh-gesture-control

axtut/dsh-gesture-control

Experimental one-hand gesture control for DSH sessions; requires the Windows Desktop 0.12.1 media-permission patch and Harness 0.2.1-rc.2.

インストール

dsh plugin --profile web add github:axtut/dsh-gesture-control

README

dsh-gesture-control · DSH 手势控制

用普通摄像头和单手手势操作 DSH 会话:握拳停止、张掌口述、拇指发送或撤销、数字答题、手势浏览会话。同时提供基于 DualTransfer 配对的双端控制。第三方非官方插件,插件代码 MIT,免费使用;手势模型和 WASM 随包提供,识别在本机 Worker 中进行。

版本前提:目标是 Windows 上的 DSH Desktop 0.12.1 / Harness 0.2.1-rc.2,Node.js ≥22。原版 Desktop 0.12.1 拦截摄像头/麦克风的 media 权限,开启摄像头会遇到 NotAllowedError。须由桌面维护者另行合入随包的 媒体权限补丁说明;插件不会修改宿主。macOS、其他 DSH 版本、真实双机和真人手势全流程仍待验证。 浏览器入口可用于进一步调试,发布检查不等于桌面实测。

比如,AI 正在写代码,你瘫在椅子上刷手机,不想再凑到键盘前。看到它跑偏了,抬手握拳叫停;想补一句要求,就张掌口述、握拳结束,检查草稿后再比个 👍 发出去。这是插件设想的一个使用场景,前提是摄像头能看清手,并已开启识别、勾选“接入 DSH 动作”。

0.1.6 连接修复

修复双端信令的 connection: invalid server-response result:Host 返回标准 ok/value 响应,Client 从 value.submitted 读取确认,并保留结构化错误。同步保留本地修复中的 Host RPC getter 兼容读取。此前的模块初始化修正、隐私告知和许可材料继续保留。

发送端与接收端都升级到 0.1.6,并完全退出重开 DSH。 保留已有 DualTransfer 配对和会话绑定,重新发起连接、核对八位码后由接收端点允许。协议与分发回归通过不等于真实物理双机已连通;设备和真人全流程仍待验证。详见发布说明。

安装与首次开启

  • npm 包:dsh-gesture-control@0.1.6。在 DSH 插件管理的安装入口填入这个精确包版本。
  • 本地包:从 GitHub Releases 下载 .tgz,在 DSH 插件管理的“安装包/本地包”入口选择它。启用 gesture-control。
  • 普通 npm install 只会安装文件,不会替 DSH 完成插件启用;无需在现用 profile 中手改配置。
  1. 先满足上面的桌面权限前提,再打开右上“✋ 手势控制”,点“开启手势”。默认仅预览,勾选“接入 DSH 动作”才执行操作。
  2. 使用口述前,启用官方 @deepseek-ai/dsh-experimental-voice-input-bundle,并在语音设置中确认当前所选提供方。希望音频本地处理时,选择本地 SenseVoice。点“准备语音模型”,在官方语音设置看进度;首次可能联网下载模型,随后使用本机缓存。插件遵循 DSH 当前语音选择;若选云端提供方,音频会交给该服务。没有语音组件时仍可使用手势预览、停止和导航。
  3. 收起小窗后继续识别,按钮下显示手形、方向和录音状态。点“停止识别并释放设备”关闭摄像头。
  4. 停止、禁用或卸载时释放轨道、识别 Worker 和未完成转写,保留已有草稿。权限未获准时显示原因,可手动重试。

手势速查

场景手势效果
本轮执行中握拳约 0.45 秒停止本轮;不是可恢复暂停
普通会话张掌稳定识别后开始口述,看到“录音中”再说话
录音中握拳结束录音、转写、整理标点,再追加到原会话草稿
闲置会话👍 约 0.65 秒发送草稿;无草稿的已有任务发送可见的“继续”
转写已进入草稿👎撤销最近一段完整转写,保留原稿和前几段
普通选择题手指数 1–5选择 DSH 原题目的对应选项;五指是 5,不录音
多选或超过五项上下滑、握拳浏览高亮,握拳选中;多选再握拳统一提交,先解除姿态
普通会话或答题中🤟 保持约半秒打开或收起会话列表
会话列表☝ 1 / ✌ 2上一条 / 下一条;同姿态只移动一次,放下手再做
会话列表握拳进入高亮会话
双端连接🤙 保持约半秒切换本机 / 已确认配对的对端

选第三项可伸食指、中指、无名指;🤟 专用于列表。滑动方向以镜像预览为准。权限审批和计划审批仍走 DSH 原界面。

最小化会暂停识别,录音会结束并等待转写;恢复后先放下手。实现不发全局按键、不强制聚焦,跨屏、无焦点场景仍需真人验证。麦克风仅录音时打开,摄像头一次处理一帧,目标约 10 fps,不是本轮性能实测。

双端控制:先配对,再确认

双端控制需另装 DualTransfer 双机通信插件,安装、配对和会话绑定步骤见其仓库说明。

两台 DSH 安装本版插件,分别在目标会话完成 DualTransfer 配对和绑定,并确认能收发。接收端勾选“允许配对设备连接当前 Dual 会话”,接收端无需摄像头。发送端开启手势并接入动作,比 🤙;核对两边的八位校验码,由接收端点允许。出现“目标:对端”后才操作,再比 🤙 返回本机。

对端模式下,握拳请求停止已绑定会话;张掌仍在发送机录音,握拳结束后文字进入独立的“对端文字草稿”。可手改、续录或 👎 撤销,👍 才提交给对端。空草稿的 👍 表示继续。数字答题和会话列表在对端执行,浏览列表不会重新绑定 Dual。权限审批留给接收端用户。

连接协商通过已有 Dual 消息传递 WebRTC offer/answer,消息在 Dual 历史可见。建立后,局域网数据通道传手势指令和确认提交的文本,不通过该通道传摄像头画面或录音;音频的处理位置另取决于所选语音提供方。接收端取消勾选会断开连接;掉线或绑定变化会提示,不会悄悄改成操作本机。当前发布没有真实双机验收报告。

数据流向

  • 手势视频:本机 Worker 推理,模型/WASM 同源加载,使用期不走 CDN。
  • 录音:交 DSH 当前所选语音提供方转写,选择本地 SenseVoice 时音频在本机处理;若选云端提供方则发送给该服务,首次模型准备也可能联网。
  • 录音结束后,转写文本自动交给 DSH 当前默认模型整理标点,不必等 👍 提交。默认 provider 若是远程服务,该段文本会发送给该服务;这一步不保证离线。 超时或检测到字词变化时回退原转写。
  • MediaPipe 官方隐私声明还提到性能/使用指标。插件未配置远程遥测不等于 SDK 保证零遥测;本次发布没有做完整流量验收。参见 官方隐私说明 和 随包声明。
  • 👍 发送后的会话内容按 DSH 本身的模型配置处理。双端控制还会把确认提交的文字发送给配对设备。

录音开始时锁定 session ID,鼠标切到另一会话也将结果追加到原会话的最新草稿,保留中途手改。转写未完成时拇指不发送旧草稿。题目绑定原 session/request/question,鼠标已回答的旧题不带到新题。列表沿用当前版本的工作区可见范围和侧栏顺序,排除归档与子会话。这些为实现行为说明,不代表本轮真人场景均已验收。

发行内容与检查

本仓库基于提供的 0.1.5 预构建运行包,没有原始 src/、开发构建器、锁文件或原项目测试集。首次公开发行修正客户端初始化错误并补齐分发材料;0.1.6 在公开版基础上合入已交付的双端信令 RPC 修复与 Host getter 兼容读取,保留既有隐私文案、许可和资源。来源与修改见发布说明,最终 TGZ 摘要随各版 GitHub Release 发布。

无需构建或安装开发依赖,Node.js ≥22 可在仓库运行:

npm test
npm pack --ignore-scripts

这些检查覆盖模块工厂加载、模拟 overlay 注册与卸载、宿主入口、资产哈希、发行结构,以及实际插件 Host/Client 配合 Connection 解析器片段的 offer/answer 模拟和 RPC getter 夹具。所有消息服务均为模拟,不读取真实 profile 凭据,也不创建真实双机连接。它们不替代真实 Host 挂载、摄像头、麦克风、真人中文口述、操作系统权限、macOS 或两台物理机验收。原项目的中文验收报告没有随提供的运行包交付,未据此宣称测试通过。

React 由宿主提供,不随包安装另一份。没有安装执行脚本、原生插件依赖或插件常驻进程。依赖目标版本的内部会话状态、侧栏 outline store 和题目 DOM,升级 DSH 后需重新验收;不承诺恢复 workflow。

分发检查范围见 DISTRIBUTION-CHECKS.md;来源和第三方许可见 THIRD_PARTY_NOTICES.md。问题请附 DSH/Desktop/系统版本、权限状态和复现步骤,勿上传录音、私人会话或凭据。

関連プラグイン