Vision, voix et multimodal

Saisie vocale (Web Speech API) et lecture à voix haute (speechSynthesis) pour l'interface Web de DeepSeek Harness — kit de saisie vocale DSH + lecture des réponses

Plugin DeepSeek Harness : déclarations directes de transfert d'images multimodales + effacement des images par session (remplacement de surface), avec une page de paramètres et des contrôles du composeur.

Téléversement de fichiers arbitraires lié à l'espace de travail, lecture, OCR et rendu pour DeepSeek Harness.

Chaînes multimodales par type de fichier : des modèles de traitement prédéfinis par joker convertissent les fichiers image, vidéo et audio en tokens de prompt avant qu'ils n'atteignent le modèle de session texte uniquement, avec des chaînes de repli par préréglage et une page de réglages Multimodal.

Plugin de routage à deux modèles pour DSH : la conversation principale reste sur DeepSeek, les tâches d'image sont automatiquement dirigées vers le modèle de vision explicitement configuré, puis le résultat de l'analyse revient à DeepSeek pour continuer.

Plugin DeepSeek Harness : une route `deepseek-vision` qui déclare l'entrée d'images et transcrit les images collées via les modèles de vision gratuits Zhipu GLM avant de déléguer à l'adaptateur DeepSeek.

Plugin multimodal pour DeepSeek Harness : comprendre des images et générer des images via des points de terminaison compatibles OpenAI ou DashScope configurables.

Plugin out-of-tree DeepSeek Harness : donne des yeux à un modèle de codage textuel en routant les images vers une route Qwen-VL (DashScope) via ctx.llm et en retournant du texte.

Upload, lecture, OCR et rendu de fichiers arbitraires liés au workspace pour DeepSeek Harness.

Pont de pièces jointes d'images dans le chat avec un outil view_image pour tout VLM compatible OpenAI (Ollama local ou cloud) : les images collées/déposées deviennent des marqueurs de chemin view_image avant d'atteindre les modèles DeepSeek texte uniquement.

Outil `describe_image` : un pont de vision qui envoie les images à mimo-v2.5 via l'API opencode Zen (identifiant `OPENCODE_GO_API_KEY`, route gratuite d'abord avec repli payant) et renvoie des descriptions texte aux modèles texte seul, avec passe-plat natif et transcodage ImageMagick des formats SVG/TIFF/HEIC.

Outil image_describe (识图) côté modèle sur l'API compatible OpenAI de DashScope (qwen3.7-flash), plus un pont de collage : sur les sessions texte uniquement, les images collées se convertissent automatiquement en chemins de fichiers à l'envoi et se réaffichent dans la transcription, sans jamais déclencher l'admission d'images. Apportez votre propre DASHSCOPE_API_KEY ; endpoint/modèle/budgets configurables, client HTTP anti-redirection, fonctionne dans tous les agent presets.

La vision pour n'importe quelle route DSH : collez des images dans le composeur web avec analyse automatique selon l'intention, déléguez la lecture des images de l'espace de travail à un sous-agent de vision Kimi/MiniMax, et matérialisez les originaux collés pour les modifier.

Pont de vision à découverte automatique pour les agents DeepSeek Harness texte seul : trouve automatiquement un modèle capable de traiter les images parmi vos fournisseurs configurés et renvoie les descriptions en texte brut via un outil de vision.

Adaptateur DeepSeek augmenté par la vision : un modèle capable de vision décrit l'image en entrée, puis un modèle DeepSeek texte seul raisonne sur cette description.

Vision à la demande pour les modèles DeepSeek texte seul : envoyez des images et le modèle appelle un outil view_image adossé à n'importe quel endpoint de vision compatible OpenAI (Qwen/DashScope par défaut).

Vision en plugin pour les modèles texte seul sur DSH, avec interaction native pour la compréhension et la génération d'images, l'automatisation d'interface, une mémoire de preuves en couches et un cache.

Vision structurée local-first pour agents texte seul : les images partent vers un VLM local compatible OpenAI et reviennent en preuves JSON (résumé, OCR littéral, régions de mise en page, entités/relations, couleurs, incertitude explicite), avec repli anti-hallucination et pont facultatif de collage/envoi ; coût cloud nul, les images ne quittent jamais la machine.

Encodeur de synesthésie pour DSH : un modèle de vision traduit les images en un texte spatial structuré et compact (canevas/éléments/coordonnées en pourcentage), offrant aux LLM texte seul une compréhension d'image au niveau du pixel via l'outil `mm_vision`.

Récupère le mode vision intégré de DeepSeek web pour les modèles texte seul : l'outil deepseek_vision pilote l'automatisation de navigateur locale deepseek-vision-cli (aide à la connexion manuelle, deep-think activé, fermeture automatique du navigateur) et renvoie les descriptions d'images sous forme de texte.

Route les images du chat vers un modèle de vision fixe compatible OpenAI, renvoie des observations factuelles au modèle principal sélectionné et réutilise les observations par session à travers les rejeux, la compaction et les redémarrages.

Voix pour DeepSeek Harness (dsh) — saisie par reconnaissance vocale + lecture à voix haute (TTS) pour DeepSeek texte seul, sans clé API.

Bundle de plugins DeepSeek Harness : outils qwen_vision (compréhension d'image Qwen-VL) et qwen_generate (texte-image Qwen-Image) pour les modèles texte seul.