Plugins

Vollduplex-Sprachmodus für die DeepSeek Harness Web-UI: Toggle (2-Sekunden-Pause Auto-Send) oder Hold-to-Talk-Diktat in einen editierbaren Entwurf mit zipformer2-Streaming-ASR, optionalem Wake Word; Edge-TTS-Vorlesen Satz für Satz mit Live-Untertiteln, und Sprechen unterbricht Wiedergabe und laufenden Turn (echtes Barge-in). On-Device-ASR, kein API-Schlüssel.

Bilibili-Video-Analyse: Metadaten, Transkript (ASR-Fallback über Bijian/sherpa-onnx/whisper.cpp), Kommentare, Danmaku und scharfe Keyframes mit optionalen lokalen Vision-Beschreibungen.

Lokaler OCR-Fallback für reine Textrouten: Wenn das Sitzungsmodell erklärt, dass es keine Bilder akzeptieren kann, wird das angehängte Bild lokal zwischengespeichert und sein Pfad injiziert, damit das Modell ocr_image aufrufen kann — PP-OCRv5 + ONNX Runtime auf der CPU, kein API-Schlüssel erforderlich, Bilder verlassen die Maschine nie. Still, wenn das Modell Bilder sehen kann.

Lokale OCR für DeepSeek Harness: Bild einfügen/anfügen, Text über PP-OCRv5 + ONNX Runtime erhalten, vollständig offline. TUI (cc-tui) und Web.

Full-Duplex-Sprachmodus für die Web-UI: Tippen zum Umschalten oder Halten zum Sprechen zum Diktieren (Senden-Taste oder `Ctrl`) mit Live-Untertiteln, hostseitige SenseVoice-ASR über sherpa-onnx, satzweise gesprochene Antworten und Sprechen unterbricht die Wiedergabe und den laufenden Zug (echtes Hineinreden). Kein API-Schlüssel erforderlich.

Einhändige Eingabe ohne Tastatur für das Eingabefeld: Maustaste im Eingabefeld gedrückt halten, sprechen, loslassen – der Text landet im Entwurf, und Hochschieben bricht ab, ohne einen halben Satz zu hinterlassen. Kein Mikrofonknopf zum Anvisieren und kein Kurzbefehl zum Merken; die Hand muss den Eingabebereich nie verlassen, was gerade dann zählt, wenn die andere Hand beschäftigt ist. Die Erkennung läuft vollständig offline (SenseVoice über sherpa-onnx, kein API-Schlüssel, Audio verlässt nie den Rechner).

Sprachassistent für dsh web: Mit dem Weckruf (z. B. „小鲸“) wird freihändiges Diktieren aktiviert – das Gesagte wird transkribiert und automatisch in das Chatfeld getippt. Unterstützt gesprochene Bearbeitungsbefehle (senden, leeren, neue Zeile, Vorlesen beenden) und liest Antworten des Assistenten auf Chinesisch vor. Die Spracherkennung läuft lokal im Browser über sherpa-onnx WASM, funktioniert also offline ohne API-Schlüssel.

Image and video production toolkit for DeepSeek Harness - background removal with quality tiers, local inpainting retouch, headline and logo compositing, batch platform-size exports and image QA reports; for video, AI subject matting with background replacement (RVM ONNX, plus a chroma-key path), animated titles with fade/slide/typewriter/karaoke presets, 53 transitions with stylized variants, and light-effect and grading presets with LUT support, alongside footage inventory, accurate cutting, subtitle burn-in, music mixing and platform-spec exports; it provisions its own local Python runtime through a bundled bootstrap script.

Registers one `doc_ocr_sign_fix` tool for DeepSeek Harness: on macOS it diagnoses and repairs the condition where the bundled Python cannot load native extensions (onnxruntime, cv2, pypdfium2) because of the hardened runtime and library validation, by injecting the disable-library-validation entitlement and re-signing the interpreter, then verifying the imports. Operations are idempotent and the original binary is backed up first. It never touches the enclosing application bundle.

Inspects ONNX models (inputs/outputs, shapes, opset, operators, size) and benchmarks them with ONNX Runtime on the local machine or on a remote target over SSH, reporting average/P50/P95/P99 latency, FPS and the execution provider actually used, with PASS/FAIL gates for FPS, P95 latency and model size. Requires Python 3.10+ with numpy, onnx, onnxruntime, and psutil installed (pip install numpy onnx onnxruntime psutil); remote targets need python3, numpy, and onnxruntime.

Registers two tools for DeepSeek Harness. `doc_ocr` turns scanned PDFs and images into structured text (per-page text, financial tables with a balance-sheet tie-out check, contract-clause hits) through a local RapidOCR engine or a Zhipu GLM-OCR cloud engine, and `doc_preprocess` turns a directory of raw files into an Obsidian-ready knowledge base through a seven-stage pipeline with backend routing and sha256-based incremental skipping. Numbers that fail the tie-out are reported, not invented. The local engine needs Python 3 with rapidocr-onnxruntime, pypdfium2 and Pillow (pip install -r requirements.txt); the GLM engine needs ZHIPU_API_KEY.

Local OCR with nothing sent to a cloud: mounts the PP-OCRv6 Medium stdio MCP server (PaddleOCR on ONNX Runtime, CPU) as mcp__ppocr__ocr_image and mcp__ppocr__ocr_pdf for images and multi-page PDFs.

Full-duplex voice mode for DeepSeek Harness 0.2 desktop: streaming ASR to draft, sentence read-aloud, barge-in, live captions, plus an in-app settings page. An unofficial compatibility fork of dsh-voice-mode 0.7.15.

Full-duplex voice mode for DeepSeek Harness: zipformer2 streaming ASR → editable draft, Edge TTS sentence-by-sentence read-aloud with live captions, true barge-in — on-device ASR, no API key. · DSH 语音双工对话：流式识别入草稿、按句朗读+实时字幕、开口即打断，识别本地推理、无需 API Key