dsh-hear
flyingcharon/dsh-hear
Gives a text-only agent an ear: a local audio model says what was said and how it sounded, checked against measured pitch, energy and pauses, with optional QQ voice watching. Its HTTP routes have no DSH access check, so a web page open in your browser could call them.
Installazione
dsh plugin --profile web add github:flyingcharon/dsh-hearREADME
鱼鱼的耳朵(dsh-hear)
给 DSH 里跑着的 agent 装一对耳朵。它听完一段音频,能说清两件事:这人大概讲了什么,以及是怎么讲的(语气、语速、停顿、背景)。
关于「只听不转写」
根据唐诗作者的发现,耳朵的功能会必不可少的带有概括和原话的内容,这让作者十分难堪;因为这个有点违背了当初「只听不转写」的立意,这样的插件和普通的转写插件没什么区别了。
在此作者对所有人深感歉意,并承诺绝对不会再使用这种过分绝对的话语,并继续精进插件,让它早日真正实现耳朵的功能。真的非常对不起大家。
它现在能做什么
- 听:wav / mp3 / QQ 的 silk 都行,说出大概讲了什么事、语气、语速停顿、背景有没有声音;听不出来的会说听不出来,不硬编。
- 两档:小模型(SenseVoice)负责把话转成文字、认出音乐笑声这类声音事件,几乎不占显存;大模型按需加载,负责听感那部分,用完就卸。
- 记忆:每听完一条记一行,两个区(听来的 / 自己说出去的),要回忆时用
hear_recall翻,不自动塞上下文。 - QQ:盯着桥接目录里的语音文件,听完把结论递回给 agent;回不回、用不用语音,由 agent 自己决定。
安装
-
Python 3.10 / 3.11,装完
python --version能看到版本; -
装依赖(国内可加
-i https://pypi.tuna.tsinghua.edu.cn/simple):pip install torch torchaudio transformers accelerate soundfile numpy fastapi uvicorn bitsandbytes pysilk -
装插件:
dsh plugin add git+https://github.com/FlyingCharon/dsh-hear,或者下 release 里的 zip 在设置里本地安装。路径别带中文; -
设置 → 鱼鱼的耳朵 → 模型页下载模型、启动;状态页显示「已启动」就能听。仓库里的
测试音频/有五段可以试。
需要什么
- Windows 10 / 11;
- NVIDIA 显卡,6G 显存起(Qwen2-Audio 4bit 约 4.5G);没有显卡也能用快速区,理解区改用云端接口;
- 磁盘:模型 16.8G,依赖另几 G;第一次要联网下模型。
注意
- 听感是模型给的,会有偏差,不保证每次百分之百对;同一段音频隔一会儿再听,结论都可能不一样。
- 偶尔会把杂音说成具体的声音(比如把咔哒声说成掌声),这种细节别当事实用。
- 它自己写的时间点可能超出音频长度,插件会把越界的丢掉,偶尔留下半句。
版本
| 版本 | 时间 | 内容 |
|---|---|---|
| 0.1.2 | 2026-11-14 | 分成快速区和理解区:小模型负责转写和听出声音事件,大模型负责听感;新增听感记忆;Omni 模型现已启用;模型被误判成僵尸等问题现已被修复 |
| 0.1.1 | 2026-11-09 | 主动回复按模式分渠道:判成对话就用语音回,素材回文字;每条桥可强制语音/文字。修了回复发不出去、后台 404、桥接冲突静默丢消息 |
| 0.1.0 | 2026-11-08 | 第一版:能听、能诊断、能下模型、能接 QQ 语音 |
许可
- 代码:MIT,见 LICENSE;
- 测试音频(
测试音频/下那五段录音):只允许用于测试这个插件,不跟代码一起走 MIT。不许拿去训练模型、单独再分发、商用或二次创作。细则见 测试音频/授权.md; - 模型权重不在这个仓库里,各家许可证不一样,用之前自己看一遍。
Plugin correlati
dsh-web-ui (dsh-tool-describe-image)
zhu1090093659/dsh-web-ui
modlens
liustack/modlens
ipollowork
devin-axis/ipollowork
dsh-image-gen
shanliuling/dsh-image-gen