プラグイン

DeepSeek Harness Web UI 用のフルデュプレックス音声モード:トグル(2 秒ポーズで自動送信)またはプッシュトゥトークによるディクテーションを、編集可能なドラフトに zipformer2 ストリーミング ASR で入力、オプションでウェイクワード対応。Edge TTS によるセンテンス単位の読み上げとライブキャプション、話すと再生と実行中ターンを割り込みます(真のバージイン)。オンデバイス ASR で API キー不要。

Bilibili 動画分析: メタデータ、文字起こし（Bijian/sherpa-onnx/whisper.cpp による ASR フォールバック）、コメント、弾幕、鮮明なキーフレーム。ローカルビジョンによる説明生成もオプションで対応。

テキスト専用ルート用のローカルOCRフォールバック：セッションモデルが画像を受け付けないと宣言した場合、添付画像をローカルにキャッシュし、そのパスを注入してモデルがocr_imageを呼び出せるようにする—PP-OCRv5 + ONNX RuntimeをCPUで使用、APIキー不要、画像はマシンを離れない。モデルが画像を見える場合には無音。

DeepSeek Harness用ローカルOCR：画像を貼り付け・添付し、PP-OCRv5 + ONNX Runtimeでテキストを取得、完全オフライン。TUI (cc-tui) およびWeb対応。

Web UI向けのフルデュプレックス音声モード：タップで切り替えまたは押し続けでディクテーション（送信キーまたは`Ctrl`）、ライブキャプション付き、sherpa-onnx経由のホスト側SenseVoice ASR、文ごとの音声応答、話すことで再生と実行中のターンを中断（真の割り込み）。APIキー不要。

コンポーザー向けの片手・キーボード不要の入力：入力ボックス上でマウスを押し続けて話し、離すとテキストが下書きに入り、上へスライドすると中途半端な文を残さずキャンセルできます。狙って押すマイクボタンも覚えるショートカットも不要で、もう一方の手がふさがっているときに手が入力エリアから離れずに済むのが要点です。認識は完全にオフラインで動作します（sherpa-onnx 経由の SenseVoice、API キー不要、音声はマシン外に出ません）。

dsh web 向けの音声アシスタント：ウェイクフレーズ（例：「小鲸」）を言うとハンズフリーの音声入力が有効になり、話した内容が文字起こしされて自動的にチャットボックスへ入力されます。音声による編集コマンド（送信、クリア、改行、読み上げ停止）に対応し、アシスタントの返答を中国語で読み上げます。音声認識は sherpa-onnx WASM によりブラウザ内でローカルに実行されるため、API キーなしでオフラインでも動作します。

Image and video production toolkit for DeepSeek Harness - background removal with quality tiers, local inpainting retouch, headline and logo compositing, batch platform-size exports and image QA reports; for video, AI subject matting with background replacement (RVM ONNX, plus a chroma-key path), animated titles with fade/slide/typewriter/karaoke presets, 53 transitions with stylized variants, and light-effect and grading presets with LUT support, alongside footage inventory, accurate cutting, subtitle burn-in, music mixing and platform-spec exports; it provisions its own local Python runtime through a bundled bootstrap script.

Registers one `doc_ocr_sign_fix` tool for DeepSeek Harness: on macOS it diagnoses and repairs the condition where the bundled Python cannot load native extensions (onnxruntime, cv2, pypdfium2) because of the hardened runtime and library validation, by injecting the disable-library-validation entitlement and re-signing the interpreter, then verifying the imports. Operations are idempotent and the original binary is backed up first. It never touches the enclosing application bundle.

Inspects ONNX models (inputs/outputs, shapes, opset, operators, size) and benchmarks them with ONNX Runtime on the local machine or on a remote target over SSH, reporting average/P50/P95/P99 latency, FPS and the execution provider actually used, with PASS/FAIL gates for FPS, P95 latency and model size. Requires Python 3.10+ with numpy, onnx, onnxruntime, and psutil installed (pip install numpy onnx onnxruntime psutil); remote targets need python3, numpy, and onnxruntime.

Registers two tools for DeepSeek Harness. `doc_ocr` turns scanned PDFs and images into structured text (per-page text, financial tables with a balance-sheet tie-out check, contract-clause hits) through a local RapidOCR engine or a Zhipu GLM-OCR cloud engine, and `doc_preprocess` turns a directory of raw files into an Obsidian-ready knowledge base through a seven-stage pipeline with backend routing and sha256-based incremental skipping. Numbers that fail the tie-out are reported, not invented. The local engine needs Python 3 with rapidocr-onnxruntime, pypdfium2 and Pillow (pip install -r requirements.txt); the GLM engine needs ZHIPU_API_KEY.

Local OCR with nothing sent to a cloud: mounts the PP-OCRv6 Medium stdio MCP server (PaddleOCR on ONNX Runtime, CPU) as mcp__ppocr__ocr_image and mcp__ppocr__ocr_pdf for images and multi-page PDFs.

Full-duplex voice mode for DeepSeek Harness 0.2 desktop: streaming ASR to draft, sentence read-aloud, barge-in, live captions, plus an in-app settings page. An unofficial compatibility fork of dsh-voice-mode 0.7.15.

Full-duplex voice mode for DeepSeek Harness: zipformer2 streaming ASR → editable draft, Edge TTS sentence-by-sentence read-aloud with live captions, true barge-in — on-device ASR, no API key. · DSH 语音双工对话：流式识别入草稿、按句朗读+实时字幕、开口即打断，识别本地推理、无需 API Key