跳过主要内容
F

dsh-hear

flyingcharon/dsh-hear

给纯文本 agent 一副耳朵:本地音频模型先说讲了什么、怎么说,再用基频、能量、停顿去核对;可选 QQ 语音监听。它的 HTTP 路由没有 DSH 的访问检查,浏览器里打开的网页可以调用它们。

安装

dsh plugin --profile web add github:flyingcharon/dsh-hear

README

鱼鱼的耳朵(dsh-hear)

给 DSH 里跑着的 agent 装一对耳朵。它听完一段音频,能说清两件事:这人大概讲了什么,以及是怎么讲的(语气、语速、停顿、背景)。

关于「只听不转写」

根据唐诗作者的发现,耳朵的功能会必不可少的带有概括和原话的内容,这让作者十分难堪;因为这个有点违背了当初「只听不转写」的立意,这样的插件和普通的转写插件没什么区别了。

在此作者对所有人深感歉意,并承诺绝对不会再使用这种过分绝对的话语,并继续精进插件,让它早日真正实现耳朵的功能。真的非常对不起大家。

它现在能做什么

  • 听:wav / mp3 / QQ 的 silk 都行,说出大概讲了什么事、语气、语速停顿、背景有没有声音;听不出来的会说听不出来,不硬编。
  • 两档:小模型(SenseVoice)负责把话转成文字、认出音乐笑声这类声音事件,几乎不占显存;大模型按需加载,负责听感那部分,用完就卸。
  • 记忆:每听完一条记一行,两个区(听来的 / 自己说出去的),要回忆时用 hear_recall 翻,不自动塞上下文。
  • QQ:盯着桥接目录里的语音文件,听完把结论递回给 agent;回不回、用不用语音,由 agent 自己决定。

安装

  1. Python 3.10 / 3.11,装完 python --version 能看到版本;

  2. 装依赖(国内可加 -i https://pypi.tuna.tsinghua.edu.cn/simple):

    pip install torch torchaudio transformers accelerate soundfile numpy fastapi uvicorn bitsandbytes pysilk
    
  3. 装插件:dsh plugin add git+https://github.com/FlyingCharon/dsh-hear,或者下 release 里的 zip 在设置里本地安装。路径别带中文;

  4. 设置 → 鱼鱼的耳朵 → 模型页下载模型、启动;状态页显示「已启动」就能听。仓库里的 测试音频/ 有五段可以试。

需要什么

  • Windows 10 / 11;
  • NVIDIA 显卡,6G 显存起(Qwen2-Audio 4bit 约 4.5G);没有显卡也能用快速区,理解区改用云端接口;
  • 磁盘:模型 16.8G,依赖另几 G;第一次要联网下模型。

注意

  • 听感是模型给的,会有偏差,不保证每次百分之百对;同一段音频隔一会儿再听,结论都可能不一样。
  • 偶尔会把杂音说成具体的声音(比如把咔哒声说成掌声),这种细节别当事实用。
  • 它自己写的时间点可能超出音频长度,插件会把越界的丢掉,偶尔留下半句。

版本

版本时间内容
0.1.22026-11-14分成快速区和理解区:小模型负责转写和听出声音事件,大模型负责听感;新增听感记忆;Omni 模型现已启用;模型被误判成僵尸等问题现已被修复
0.1.12026-11-09主动回复按模式分渠道:判成对话就用语音回,素材回文字;每条桥可强制语音/文字。修了回复发不出去、后台 404、桥接冲突静默丢消息
0.1.02026-11-08第一版:能听、能诊断、能下模型、能接 QQ 语音

许可

  • 代码:MIT,见 LICENSE;
  • 测试音频(测试音频/ 下那五段录音):只允许用于测试这个插件,不跟代码一起走 MIT。不许拿去训练模型、单独再分发、商用或二次创作。细则见 测试音频/授权.md;
  • 模型权重不在这个仓库里,各家许可证不一样,用之前自己看一遍。

相关插件