- Início
- Plugins
- Visão, voz e multimodal
- dsh-gesture-control
dsh-gesture-control
axtut/dsh-gesture-control
Experimental one-hand gesture control for DSH sessions; requires the Windows Desktop 0.12.1 media-permission patch and Harness 0.2.1-rc.2.
Instalar
dsh plugin --profile web add github:axtut/dsh-gesture-controlREADME
dsh-gesture-control · DSH 手势控制
用普通摄像头和单手手势操作 DSH 会话:握拳停止、张掌口述、拇指发送或撤销、数字答题、手势浏览会话。同时提供基于 DualTransfer 配对的双端控制。第三方非官方插件,插件代码 MIT,免费使用;手势模型和 WASM 随包提供,识别在本机 Worker 中进行。
版本前提:目标是 Windows 上的 DSH Desktop 0.12.1 / Harness 0.2.1-rc.2,Node.js ≥22。原版 Desktop 0.12.1 拦截摄像头/麦克风的 media 权限,开启摄像头会遇到 NotAllowedError。须由桌面维护者另行合入随包的 媒体权限补丁说明;插件不会修改宿主。macOS、其他 DSH 版本、真实双机和真人手势全流程仍待验证。 浏览器入口可用于进一步调试,发布检查不等于桌面实测。
比如,AI 正在写代码,你瘫在椅子上刷手机,不想再凑到键盘前。看到它跑偏了,抬手握拳叫停;想补一句要求,就张掌口述、握拳结束,检查草稿后再比个 👍 发出去。这是插件设想的一个使用场景,前提是摄像头能看清手,并已开启识别、勾选“接入 DSH 动作”。
0.1.6 连接修复
修复双端信令的 connection: invalid server-response result:Host 返回标准 ok/value 响应,Client 从 value.submitted 读取确认,并保留结构化错误。同步保留本地修复中的 Host RPC getter 兼容读取。此前的模块初始化修正、隐私告知和许可材料继续保留。
发送端与接收端都升级到 0.1.6,并完全退出重开 DSH。 保留已有 DualTransfer 配对和会话绑定,重新发起连接、核对八位码后由接收端点允许。协议与分发回归通过不等于真实物理双机已连通;设备和真人全流程仍待验证。详见发布说明。
安装与首次开启
- npm 包:
dsh-gesture-control@0.1.6。在 DSH 插件管理的安装入口填入这个精确包版本。 - 本地包:从 GitHub Releases 下载
.tgz,在 DSH 插件管理的“安装包/本地包”入口选择它。启用gesture-control。 - 普通
npm install只会安装文件,不会替 DSH 完成插件启用;无需在现用 profile 中手改配置。
- 先满足上面的桌面权限前提,再打开右上“✋ 手势控制”,点“开启手势”。默认仅预览,勾选“接入 DSH 动作”才执行操作。
- 使用口述前,启用官方
@deepseek-ai/dsh-experimental-voice-input-bundle,并在语音设置中确认当前所选提供方。希望音频本地处理时,选择本地 SenseVoice。点“准备语音模型”,在官方语音设置看进度;首次可能联网下载模型,随后使用本机缓存。插件遵循 DSH 当前语音选择;若选云端提供方,音频会交给该服务。没有语音组件时仍可使用手势预览、停止和导航。 - 收起小窗后继续识别,按钮下显示手形、方向和录音状态。点“停止识别并释放设备”关闭摄像头。
- 停止、禁用或卸载时释放轨道、识别 Worker 和未完成转写,保留已有草稿。权限未获准时显示原因,可手动重试。
手势速查
| 场景 | 手势 | 效果 |
|---|---|---|
| 本轮执行中 | 握拳约 0.45 秒 | 停止本轮;不是可恢复暂停 |
| 普通会话 | 张掌 | 稳定识别后开始口述,看到“录音中”再说话 |
| 录音中 | 握拳 | 结束录音、转写、整理标点,再追加到原会话草稿 |
| 闲置会话 | 👍 约 0.65 秒 | 发送草稿;无草稿的已有任务发送可见的“继续” |
| 转写已进入草稿 | 👎 | 撤销最近一段完整转写,保留原稿和前几段 |
| 普通选择题 | 手指数 1–5 | 选择 DSH 原题目的对应选项;五指是 5,不录音 |
| 多选或超过五项 | 上下滑、握拳 | 浏览高亮,握拳选中;多选再握拳统一提交,先解除姿态 |
| 普通会话或答题中 | 🤟 保持约半秒 | 打开或收起会话列表 |
| 会话列表 | ☝ 1 / ✌ 2 | 上一条 / 下一条;同姿态只移动一次,放下手再做 |
| 会话列表 | 握拳 | 进入高亮会话 |
| 双端连接 | 🤙 保持约半秒 | 切换本机 / 已确认配对的对端 |
选第三项可伸食指、中指、无名指;🤟 专用于列表。滑动方向以镜像预览为准。权限审批和计划审批仍走 DSH 原界面。
最小化会暂停识别,录音会结束并等待转写;恢复后先放下手。实现不发全局按键、不强制聚焦,跨屏、无焦点场景仍需真人验证。麦克风仅录音时打开,摄像头一次处理一帧,目标约 10 fps,不是本轮性能实测。
双端控制:先配对,再确认
双端控制需另装 DualTransfer 双机通信插件,安装、配对和会话绑定步骤见其仓库说明。
两台 DSH 安装本版插件,分别在目标会话完成 DualTransfer 配对和绑定,并确认能收发。接收端勾选“允许配对设备连接当前 Dual 会话”,接收端无需摄像头。发送端开启手势并接入动作,比 🤙;核对两边的八位校验码,由接收端点允许。出现“目标:对端”后才操作,再比 🤙 返回本机。
对端模式下,握拳请求停止已绑定会话;张掌仍在发送机录音,握拳结束后文字进入独立的“对端文字草稿”。可手改、续录或 👎 撤销,👍 才提交给对端。空草稿的 👍 表示继续。数字答题和会话列表在对端执行,浏览列表不会重新绑定 Dual。权限审批留给接收端用户。
连接协商通过已有 Dual 消息传递 WebRTC offer/answer,消息在 Dual 历史可见。建立后,局域网数据通道传手势指令和确认提交的文本,不通过该通道传摄像头画面或录音;音频的处理位置另取决于所选语音提供方。接收端取消勾选会断开连接;掉线或绑定变化会提示,不会悄悄改成操作本机。当前发布没有真实双机验收报告。
数据流向
- 手势视频:本机 Worker 推理,模型/WASM 同源加载,使用期不走 CDN。
- 录音:交 DSH 当前所选语音提供方转写,选择本地 SenseVoice 时音频在本机处理;若选云端提供方则发送给该服务,首次模型准备也可能联网。
- 录音结束后,转写文本自动交给 DSH 当前默认模型整理标点,不必等 👍 提交。默认 provider 若是远程服务,该段文本会发送给该服务;这一步不保证离线。 超时或检测到字词变化时回退原转写。
- MediaPipe 官方隐私声明还提到性能/使用指标。插件未配置远程遥测不等于 SDK 保证零遥测;本次发布没有做完整流量验收。参见 官方隐私说明 和 随包声明。
- 👍 发送后的会话内容按 DSH 本身的模型配置处理。双端控制还会把确认提交的文字发送给配对设备。
录音开始时锁定 session ID,鼠标切到另一会话也将结果追加到原会话的最新草稿,保留中途手改。转写未完成时拇指不发送旧草稿。题目绑定原 session/request/question,鼠标已回答的旧题不带到新题。列表沿用当前版本的工作区可见范围和侧栏顺序,排除归档与子会话。这些为实现行为说明,不代表本轮真人场景均已验收。
发行内容与检查
本仓库基于提供的 0.1.5 预构建运行包,没有原始 src/、开发构建器、锁文件或原项目测试集。首次公开发行修正客户端初始化错误并补齐分发材料;0.1.6 在公开版基础上合入已交付的双端信令 RPC 修复与 Host getter 兼容读取,保留既有隐私文案、许可和资源。来源与修改见发布说明,最终 TGZ 摘要随各版 GitHub Release 发布。
无需构建或安装开发依赖,Node.js ≥22 可在仓库运行:
npm test
npm pack --ignore-scripts
这些检查覆盖模块工厂加载、模拟 overlay 注册与卸载、宿主入口、资产哈希、发行结构,以及实际插件 Host/Client 配合 Connection 解析器片段的 offer/answer 模拟和 RPC getter 夹具。所有消息服务均为模拟,不读取真实 profile 凭据,也不创建真实双机连接。它们不替代真实 Host 挂载、摄像头、麦克风、真人中文口述、操作系统权限、macOS 或两台物理机验收。原项目的中文验收报告没有随提供的运行包交付,未据此宣称测试通过。
React 由宿主提供,不随包安装另一份。没有安装执行脚本、原生插件依赖或插件常驻进程。依赖目标版本的内部会话状态、侧栏 outline store 和题目 DOM,升级 DSH 后需重新验收;不承诺恢复 workflow。
分发检查范围见 DISTRIBUTION-CHECKS.md;来源和第三方许可见 THIRD_PARTY_NOTICES.md。问题请附 DSH/Desktop/系统版本、权限状态和复现步骤,勿上传录音、私人会话或凭据。
Plugins relacionados
dsh-web-ui (dsh-tool-describe-image)
zhu1090093659/dsh-web-ui
modlens
liustack/modlens
ipollowork
devin-axis/ipollowork
dsh-image-gen
shanliuling/dsh-image-gen