Plugins

ROS2-Debug-Werkzeugkasten und Roboterzustands-Bildanalyse für DeepSeek Harness: Aufzählung von Node/Topic/Service/Action/Interface/TF, Topologie-JSON des gesamten Graphen, rosdep-Prüfungen, genehmigungsgesteuerte Builds und Custom-Message-Gerüstbau, GUI-Screenshots und multimodale Visionsbeobachtung sowie Headless-RViz2-Offscreen-Rendering (Low-Poly-Meshes, direkter Pixel-Read, GPU-Passthrough – Bewegungsdarstellung mit 30 Hz) mit paralleler VLM-Echtzeitanalyse.

DeepSeek-Gehirn + automatische Bildtranskription: Bilder in der GUI anhängen und jedes wird standardmäßig über das offizielle deepseek-v4-flash-vision-exp transkribiert (ein reines Text-V4-Pro-Gehirn kann Bilder sehen), mit jeder OpenAI-kompatiblen VLM oder lokalem Ollama als Alternative.

Gibt reinen Text-DeepSeek-Harness-Agenten Videoverständnis: szenenbewusste Frame-Abtastung + VLM + optionale ASR-Transkription, zu Zeitleistenbeweisen fusioniert. / Video-Verständnis-Plugin für reine Textmodelle (szenenbewusste Frame-Extraktion + VLM + optionale Spracherkennung).

Kostengünstiges Video-Verständnis-Tool: Ein video_understand-Tool wandelt einen Bilibili-Link / BV / ein lokales Video in eine AVIS-Informationsschicht (ASR + Szenenstruktur + Objekt-Tracking + YOLO-Labels) um und liefert Zusammenfassung + Q&A. Fragegesteuertes dynamisches Routing über Ebenen hinweg (L0 ASR / L1 Objekt-Tracking / L2 Keyframe-VLM), Wiederverwendung der semantischen Schicht für Wiederholungsfragen, Budgetobergrenze pro Frage. Python-Engine: Die Kernschicht benötigt faster-whisper / opencv / yt-dlp (~200-300MB); die optionale semantische Schicht fügt ~2GB torch / transformers / ultralytics hinzu. Ein mitgeliefertes doctor --fix richtet das venv ein und installiert beide.

Vision für das reine Text-DeepSeek standardmäßig über Doubao Web (kostenlos, kein API-Schlüssel nötig – steuert Ihr angemeldetes Chrome über eine Windows-CDP-Brücke), mit Antigravity-IDE-Kontingent (flash/pro) oder Gemini als Fallback; automatische Detail-Eskalation, Vision-Beleg-Speicher mit Rehydrierung nach Kompaktierung, Content-Hash-Cache und ein zweisprachiges Client-Panel.

On-Demand-Vision für reine Text-DSH-Sitzungen: Bilder werden zu Markern, und ein vision_describe-Tool sendet nur das Bild und die Frage an ein OpenAI-kompatibles Vision-Modell

Ein dsh-Plugin, mit dem die KI automatisch VLMs (multimodale Modelle) für die visuelle Analyse aufrufen kann.

Omnimodale Workstation für DSH: analyze_image über eine geordnete Failover-Kette aus mehreren VLM-Karten, ein Bildwerkzeugkasten mit sechs Werkzeugen (Zoom, Farbabtastung, Pixel-Diff, OCR, Elementerkennung, Anzeige im Chat), die denselben Bildauflöser nutzen, generate_image über die Protokolle OpenAI/DashScope/ComfyUI, asynchrones generate_video mit mehreren Karten samt Builder /build-video-tool und speak/clone_voice für Sprachausgabe über sieben Anbieter – alles gesteuert von einer selbst speichernden Einstellungsseite.

Vision-Toolkit für textonly DeepSeek: modellaufrufbares `vision`-Tool, Wrapper-Adapter für deepseek/opencode-go (v4 flash/pro), Antigravity-IDE-Kontingent (default, flash/pro) / jeden OpenAI-kompatiblen VLM / Gemini / lokale Ollama-Kanäle, Evidenzspeicher mit Kompaktierungs-Rehydration, Content-Hash-Cache und ein zweisprachiges Client-Panel.

Drag-and-drop / paste / upload files and images; on non-multimodal models images are auto-described by a configured VLM.

Chat-Bildanhang-Brücke mit einem view_image-Werkzeug für jedes OpenAI-kompatible VLM (lokales Ollama oder Cloud): eingefügte/abgelegte Bilder werden zu view_image-Pfadmarkern, bevor sie Text-only-DeepSeek-Modelle erreichen.

Lokales, strukturiertes Sehen für reine Textagenten: Bilder gehen an ein lokales OpenAI-kompatibles VLM und kommen als JSON-Belege zurück (Zusammenfassung, wörtliche OCR, Layoutregionen, Entitäten/Relationen, Farben, ausdrückliche Unsicherheit), mit Anti-Halluzinations-Fallback und optionaler Einfüge-/Upload-Brücke; keine Cloud-Kosten, Bilder verlassen nie den Rechner.

Vision als Plug-in für rein textbasierte DeepSeek-Harness-(dsh)-Modelle: ein `vision`-Tool mit integrierten günstigen/kostenlosen VLM-Presets, Stapelanalyse mehrerer Bilder, Bildaufnahme per Einfügen-als-Hinweis und einer Web-Einstellungsseite mit Hot-Reload.

Use local MLX-LM or MLX-VLM models in DeepSeek Harness through a loopback OpenAI-compatible provider, with optional DSH-owned server startup.

明眸 VisionBridge - Selbstentwickelte visuelle Brücke: Wenn ein blindes Modell Bilder empfängt, wird automatisch ein visuelles Modell zur Erkennung aufgerufen und der erkannte Text an das Hauptmodell zurückgegeben; nahtlos, konfigurierbar, verlustfrei bei Upgrades.