Vision, Sprache & Multimodal

Gehosteter, kostenloser Vision-Sidecar für DeepSeek Harness mit dauerhaften Sitzungsbelegen.

Verbindet Sitzungsbilder mit konfigurierbaren Vision-Anbietern und gibt rein textbasierte Analysen an berechtigte DeepSeek Harness-Modellrouten zurück.

Omnimodale Workstation für DSH: analyze_image über eine geordnete Failover-Kette aus mehreren VLM-Karten, ein Bildwerkzeugkasten mit sechs Werkzeugen (Zoom, Farbabtastung, Pixel-Diff, OCR, Elementerkennung, Anzeige im Chat), die denselben Bildauflöser nutzen, generate_image über die Protokolle OpenAI/DashScope/ComfyUI, asynchrones generate_video mit mehreren Karten samt Builder /build-video-tool und speak/clone_voice für Sprachausgabe über sieben Anbieter – alles gesteuert von einer selbst speichernden Einstellungsseite.

Einhändige Eingabe ohne Tastatur für das Eingabefeld: Maustaste im Eingabefeld gedrückt halten, sprechen, loslassen – der Text landet im Entwurf, und Hochschieben bricht ab, ohne einen halben Satz zu hinterlassen. Kein Mikrofonknopf zum Anvisieren und kein Kurzbefehl zum Merken; die Hand muss den Eingabebereich nie verlassen, was gerade dann zählt, wenn die andere Hand beschäftigt ist. Die Erkennung läuft vollständig offline (SenseVoice über sherpa-onnx, kein API-Schlüssel, Audio verlässt nie den Rechner).

Liest Assistentenantworten in DeepSeek Harness laut vor: Text-zu-Sprache-Anbieter mit Streaming-Wiedergabe.

Sprachassistent für dsh web: Mit dem Weckruf (z. B. „小鲸“) wird freihändiges Diktieren aktiviert – das Gesagte wird transkribiert und automatisch in das Chatfeld getippt. Unterstützt gesprochene Bearbeitungsbefehle (senden, leeren, neue Zeile, Vorlesen beenden) und liest Antworten des Assistenten auf Chinesisch vor. Die Spracherkennung läuft lokal im Browser über sherpa-onnx WASM, funktioniert also offline ohne API-Schlüssel.

KI-Audioerzeugung für die DeepSeek Harness Web-GUI — Multi-Vendor-TTS, Musik, Soundeffekte und Voice-Design mit Seitenleisten-Panel, Modellvergleich, Ressourcenbibliothek und Agent-Tools.

Durchgängige Sprachkonversationen für DSH mit freihändigem Zuhören, Push-to-Talk, Spracherkennung, TTS-Antworten und Hintergrund-Agent-Delegation.

Lokales Echtzeit-TTS für DeepSeek Harness: Stimmvoreinstellungen, automatisches Vorlesen, Engine-Setup-Assistent, Vorlese-Button und ein Einstellungsbereich für die GSV-TTS-Lite-Engine.

Ximalaya-Podcasts und Hörbücher in der DSH-Weboberfläche hören: Alben suchen, seitenweise Titel durchblättern und über eine Leiste für den laufenden Titel abspielen (zurück/abspielen/weiter, Spulen, Lautstärke, Geschwindigkeit). Nach der Anmeldung per QR-Code listet die Seite „Meine“ deine favorisierten Titel (zum Abspielen anklicken), abonnierte Alben mit Hinweisen auf die neuesten Folgen und gefolgte Sprecher mit ihren öffentlichen Alben; der Host leitet Audiostreams mit Unterstützung für Range weiter und registriert ein Werkzeug `ximalaya_play`, damit der Agent auf Wunsch suchen und abspielen kann.

Lässt deinen KI-Agenten ein echtes Android-Telefon sehen und bedienen: phone_look (Verschmelzung von Bilderkennung und UI-Baum), Tippen/Wischen/Eingeben, Screenshot – über adb, für jeden MCP-Client.

Bildverständnis für jedes DSH-Modell: Vision-, OCR-, Grounding- und Zuschneide-Tools mit Domänen-Presets für Histopathologie, Zellbiologie, Anatomie, klinische Bilder und wissenschaftliche Abbildungen.

Lokale Erzeugung von Bildern, Stimmen, Musik und Soundeffekten sowie Transkription, mit fixierter Identität: Charaktere, Tiere, Objekte und Schauspielernstimmen werden einmal definiert und bei jedem späteren Aufruf wiederverwendet; degenerierte Ausgaben (nahezu flaches Bild, stilles Audio) werden abgelehnt statt als Erfolg zurückgegeben, und eine erzeugte Zeile kann als Text zurückgelesen werden, sodass ein Klon, der sein Ende verschluckt hat, sichtbar wird. Die Engines entladen sich im Leerlauf, und Bildgenerierung und Transkription können jeweils auf eine OpenAI-kompatible API statt auf das lokale Vulkan-Backend zeigen.

DeepSeek Harness-Plugin, das UI-Screenshots mithilfe von OCR, deterministischer Geometrie, Szenengraphen, Assets und Render-Vergleich in implementierungsreife Web-Spezifikationen umwandelt.

Auditierbare Vision- und plattformübergreifende Computer-Use-Laufzeit für DeepSeek Harness mit quellenerhaltenden Beweisen.

Spracheingabe für die Web UI: eine Mikrofonschaltfläche, die die lokale Offline-Spracherkennung von VocoType steuert und erkannten Text automatisch in den Editor einfügt (Auto-Deploy, Deduplizierung, kontinuierliche Diktation).

Speech-to-Text-Spracheingabe für die Web-UI: ein Mikrofon-Button im Composer transkribiert Sprache per Browser Web Speech API (null Konfiguration) oder eine OpenAI-kompatible Whisper-API (OpenAI / Groq) in den Entwurf, mit auswählbarem Modell und Sprache in den Settings.

Zeigt eingefügte oder hochgeladene Bilder direkt im DSH-Web-Chat an und gibt reinen Textmodellen Sehkraft: Das vom Modell aufrufbare Tool visual_review nutzt zuerst eine OpenAI-kompatible multimodale API und fällt bei einem Fehler auf einen lokalen Qwen3-VL-Worker zurück.

Agentenaufrufbares Vision-Tool, das lokale Bilder über einen von dir konfigurierten, OpenAI-kompatiblen Vision-Endpunkt beschreibt, mit optionalem Multi-Modell-Gegencheck und ohne integrierte Schlüssel.

Bewirbt das Einfügen von Bildern auf reinen Text-Routen von DeepSeek, beschreibt Anhänge mit einem Vision-Sidecar und lässt native Vision-Modelle unangetastet.

Komplettes Vision-Funktionspaket für DeepSeek Harness: ein vision_understand-Tool (OpenAI-kompatible Vision-APIs, standardmäßig kostenloses Zhipu GLM-4V-Flash) sowie Einfüge-/Drag-and-Drop-/Button-Einstiegspunkte für die Bilderkennung.

Gibt dsh die Fähigkeit, Bilder und Videos über die grok2api-API zu erzeugen.

GPT Image 2 `image_gen` mit standardmäßigem Codex-Abonnement-OAuth oder explizitem API-Schlüsselmodus: Entwicklungskarte, bis zu drei Live-API-Teilstücke, persistente Anhangs-Wiedergabe / Lightbox / Download, reiner Textmodell-Ausgabe und begrenzten, credential-sicheren Anfragen.