プラグイン

コンポーザー向けワンクリックプロンプト拡張（5モード、メモリチェーン、マルチモデルフォールバック）と音声認識（クラウドQwen3-ASR / オフラインSenseVoice、無音時自動停止）、ワンクリックDSHサービス再起動付き。

Web UI向け音声入力：Alt（またはAlt+Space）を押してディクテーションを開始/停止、ブラウザWeb Speech（ゼロ設定）またはOpenAI互換クラウドASR、DSH設定LLMによるオプションのポリッシュ、設定UI。

DeepSeek Harness（dsh）向け音声入力プラグイン：コンポーザーのマイクボタンで音声を下書き転写に変換し、複数の音声認識バックエンドから選択可能で、dsh 独自の LLM ルートによる任意の推敲とネイティブ設定ページを備えています。

DeepSeek Harness Web UI 用のフルデュプレックス音声モード:トグル(2 秒ポーズで自動送信)またはプッシュトゥトークによるディクテーションを、編集可能なドラフトに zipformer2 ストリーミング ASR で入力、オプションでウェイクワード対応。Edge TTS によるセンテンス単位の読み上げとライブキャプション、話すと再生と実行中ターンを割り込みます(真のバージイン)。オンデバイス ASR で API キー不要。

テキストのみの DeepSeek Harness エージェントに動画理解能力を付与：シーン認識フレームサンプリング + VLM + オプションの ASR 文字起こしをタイムラインエビデンスに融合。/ 純テキストモデル用の動画理解プラグイン（シーン感知抽フレーム + VLM + オプション音声転写）

Web UI 向けの音声 AI ガールフレンド：FunASR のマイク入力、Qwen3-TTS の音声応答、コンパニオンアニメーションウィンドウ、NapCat 経由の双方向 QQ チャット（テキスト/音声/画像送信）。

Bilibili 動画分析: メタデータ、文字起こし（Bijian/sherpa-onnx/whisper.cpp による ASR フォールバック）、コメント、弾幕、鮮明なキーフレーム。ローカルビジョンによる説明生成もオプションで対応。

低コストな動画理解ツール。video_understand ツールが Bilibili リンク / BV / ローカル動画を AVIS 情報層（ASR + シーン構造 + オブジェクト追跡 + YOLO ラベル）に変換し、要約 + Q&A を返す。質問主導のレイヤー間ダイナミックルーティング（L0 ASR / L1 オブジェクト追跡 / L2 キーフレーム VLM）、繰り返し質問向けの意味レイヤー再利用、質問ごとの予算上限を備える。Python エンジン: コア層には faster-whisper / opencv / yt-dlp が必要（約200-300MB）。任意の意味層を追加すると torch / transformers / ultralytics が約2GB 増える。付属の doctor --fix が venv をセットアップし、両方をインストールする。

音声ツール：無料のedge-ttsニューラル音声合成、OpenAI互換のASR文字起こし、音声リスト、音声の一括プレビュー、ヘルス自己チェック。

Web UI向けのフルデュプレックス音声モード：タップで切り替えまたは押し続けでディクテーション（送信キーまたは`Ctrl`）、ライブキャプション付き、sherpa-onnx経由のホスト側SenseVoice ASR、文ごとの音声応答、話すことで再生と実行中のターンを中断（真の割り込み）。APIキー不要。

コンポーザー向けの片手・キーボード不要の入力：入力ボックス上でマウスを押し続けて話し、離すとテキストが下書きに入り、上へスライドすると中途半端な文を残さずキャンセルできます。狙って押すマイクボタンも覚えるショートカットも不要で、もう一方の手がふさがっているときに手が入力エリアから離れずに済むのが要点です。認識は完全にオフラインで動作します（sherpa-onnx 経由の SenseVoice、API キー不要、音声はマシン外に出ません）。

Web UI 用の音声入力: ローカルの VocoType オフライン音声認識を駆動するマイクボタンで、認識したテキストを自動的に composer に挿入する（自動デプロイ、重複排除、連続ディクテーション）。

DSH Web GUI の音声通話アシスタント：ドラッグ可能なフローティング通話ボール、発話ごとにポーズ後に送信するブラウザ側 VAD、FunASR HTTP またはストリーミング音声認識、MiniMax または OpenAI 互換 TTS の返答、自動スリープ付きの任意のウェイクワードモード、進捗・停止・読み上げ完了報告を伴う別サブエージェントセッションへのタスク派遣。

Muxiva がオーケストレーションする、DeepSeek Harness 向けのローカルファースト・フルデュプレックス音声

エージェント起動の音声通話: `offer_call` が人間を呼び出し（接听/拒接/稍后再说）、応答された通話は CrispASR + Qwen3-TTS（9 話者、2 中国語方言）でローカル生成・再生され、拒否された通話はその判断をエージェントに返します。

Local media/doc pipeline: ffprobe, extract, thumbnail, PDF, ASR, pandoc, OCR, exif (allowRoots include IM inbox).

Bridges Feishu, WeCom, DingTalk, QQ, Slack, Discord, Telegram and Mattermost into dsh agents (outbound WS/Stream/Gateway/long-poll/webhook), with im_status, optional local Whisper ASR, plain-text outbound for QQ/DingTalk/Telegram/Mattermost, and env CSV allowlists (DSH_IM_*_ALLOWED_USER_IDS). Empty allowedUserIds means EVERYONE can drive your agent — set a whitelist before exposing a bot.

MiniMax 语音识别（asr-1.0）+ 语音合成（speech-2.8-hd）的 DeepSeek Harness 全局插件：转写工具、任务结束后用喇叭念一句的播报、实时免手对话、303 个音色可选

Offline voice input for the DSH Web UI: mic to local FunASR (SenseVoiceSmall), one-click install, no cloud.

コンポーザー向けの中国対応音声入力です。ローカル Python ブリッジが必要です (pip install dashscope websockets、bridge/voice-bridge.py を実行)。プラグイン単体では動作しません。ブラウザマイクが 16 kHz PCM をブリッジへ送信し、Alibaba Cloud DashScope ASR (paraformer-realtime-v2) を実行します。中間結果がカーソル位置のドラフトへ流し込まれ、無音で自動停止、オプションで自動送信を行います。

Audio Copilot for DeepSeek Harness: transcribe audio (ASR) and synthesize speech (TTS) — gives text-only agents ears and a voice. Windows-local SAPI TTS out of the box; OpenAI-compatible ASR/TTS endpoints configurable. Includes an in-composer voice-input

开口即成文 · Speak-to-prompt for DeepSeek Harness：云端 ASR 语音识别 + 提示词优化 + 填入草稿/自动发送，跨平台 macOS / Windows。

DSH voice input plugin: browser realtime + VAD dictation + local/cloud ASR + DeepSeek AI polish

Voice input plugin (dual-face): mic button beside the composer send action, live recording bubble streaming PCM to a local Qwen3-ASR python service managed by the host, plus an ASR environment settings page (clone runtime/model repos, create venv, run ser