Vision, voix et multimodal

Cerveau DeepSeek + transcription automatique d'images : attachez des images dans la GUI et chacune est transcrite par le modèle officiel deepseek-v4-flash-vision-exp par défaut (un cerveau V4-Pro en texte pur peut voir les images), avec n'importe quelle VLM compatible OpenAI ou Ollama local comme alternatives.

Donne aux agents DeepSeek Harness textuels la compréhension vidéo : échantillonnage de trames contextuel + VLM + transcription ASR optionnelle fusionnés en preuves de timeline. / Plugin de compréhension vidéo pour modèles texte uniquement (échantillonnage de trames contextuel + VLM + transcription vocale optionnelle).

Ajoute un modèle de vision configurable aux modèles principaux textuels uniquement : un outil vision_read_image, un sélecteur de modèle de vision dans la barre de composition, et une conversion automatique image-texte pour les routes textuelles uniquement.

Studio d'images et de vidéos par IA sous forme de panneau DSH flottant, pour créer sans interrompre la conversation : texte-vers-image, image-vers-image et composition multi-images en 1K-4K sur huit formats ; texte-vers-vidéo et image-vers-vidéo avec contrôle de la première image de 4 à 12 secondes ; mode court-métrage qui importe un scénario (.txt/.md/.json), le découpe en plans de storyboard pour la prévisualisation et la génération par lots ; et un espace de travail d'expert en prompts. Zéro dépendance d'exécution.

Petite amie IA vocale pour l’interface Web : entrée micro FunASR, réponses parlées Qwen3-TTS, fenêtre d’animation compagnon et chat QQ bidirectionnel (texte/voix/image push) via NapCat.

Ajoute la synthèse vocale Xiaomi MiMo à DSH Web avec la lecture à voix haute des messages de l'assistant, la diffusion PCM, des voix prédéfinies et la conception de voix personnalisées, un repli sur la synthèse vocale du navigateur, des commandes de lecture et des sons d'interface en option.

Plugin d'annonce vocale sans dépendance, piloté par les événements : pas de modèle supplémentaire, pas de coût en jetons. Parle avec la voix naturelle intégrée du système, prenant en charge Windows et macOS ; annonces de réponse finale, alertes d'approbation et de question, annonces d'événements facultatives (fin de tour, commande terminée, changement d'objectif, erreurs d'outils, mises à jour de tâches), réponses finales rejouables et une page de paramètres visuelle bilingue.

Pont MCP vers gemini.google.com : analyse visuelle d'images et de vidéos, génération d'images Imagen et de vidéos Veo, et gestion des conversations via la session de navigateur déjà connectée, sans clé API.

Génération texte-vers-image multi-moteur (préréglages OpenAI Images et Zhipu CogView) avec suivi des quotas par session, basculement de moteur, configuration sécurisée pour les identifiants, et une carte de résultat avec régénération.

Une route de fournisseur passerelle vision-langage : les images collées sont décrites par un modèle VL configurable (Qwen-VL par défaut) avant d'être transmises à DeepSeek.

Plugin de vision externe pour DeepSeek Harness : panneau de configuration via le bouton baleine, reconnaissance d'image avec réponse automatique, et outils de capture d'écran/reconnaissance pour l'agent.

Pour le modèle de vision natif de DeepSeek Harness deepseek-v4-flash-vision-exp, relève les limites d'admission des images à 32 MiB / 8192 px / 600 images et ajoute un outil highres_read qui découpe les grandes images en tuiles, puis renvoie l'image entière plus des tuiles de 800x800 via l'outil read_image de l'hôte.

Entrée vocale pour la Web UI : dictée segmentée par pauses et messages vocaux, chacun avec sa propre chaîne de repli de fournisseurs (Deepgram, Groq, HuggingFace, whisper.cpp local ou point de terminaison compatible OpenAI).

Saisie vocale pour DeepSeek Harness : parlez dans le microphone et le texte reconnu est soumis comme un message de chat normal, via la reconnaissance vocale locale ou du navigateur.

Pont de vision gratuit pour les modèles texte uniquement : compréhension d'images, OCR, analyse d'interface et de débogage via des fournisseurs de niveau gratuit (Qwen3-VL-Flash, Doubao, DeepSeek-OCR) avec une interface graphique de paramètres.

Génère et affiche automatiquement des images dans le chat DSH via des canaux API ou des CLIs locales (mmx / codex / agy), et peut également reconnaître des images à l'aide de la CLI correspondante.

Envoie des images locales ou des URL d’images HTTP(S) à un point de terminaison vision compatible OpenAI configuré avec l’outil inspect_image et renvoie sa réponse textuelle à la conversation.

Capture de fenêtre façon Codex pour DSH Desktop sur macOS et Windows : appuyez sur les deux touches Command (macOS) ou les deux touches Ctrl (Windows), ou sur le bouton caméra, pour capturer la fenêtre au premier plan, la joindre au chat en cours et injecter un arbre d'accessibilité de style VoiceOver comme contexte masqué.

Vision pour DeepSeek en mode texte seul via Doubao Web par défaut (gratuit, sans clé API — pilote votre Chrome connecté via un pont CDP Windows), avec quota Antigravity IDE (flash/pro) ou repli sur Gemini ; escalade automatique du niveau de détail, mémoire de preuves visuelles avec réhydratation après compaction, cache par hachage de contenu, et un panneau client bilingue.

Interaction vocale en chinois full-duplex pour DSH Web : dictez et modifiez des tâches, soumettez des demandes, gérez les sessions, répondez aux questions DSH et écoutez des annonces concises de fin de tâche.

Permet aux modèles texte seul de voir les images : lorsqu'une image arrive avec un texte de remplacement comme \[image omitted because this model accepts text only], le modèle appelle l'outil vision_describe et le plugin transmet la référence de l'image et la question à un modèle multimodal, en réessayant avec un modèle de secours en cas d'échec. Configuré dans la page de paramètres et conservé via l'API officielle de paramètres.

Micro du compositeur pour l'interface web : appuyez pour surveiller la transcription en direct et maintenez pour parler, avec une lecture de réponse par Edge TTS de l'hôte diffusée pendant que le modèle génère, une pause d'écho pendant la lecture, et un appui pour arrêter.

Fallback OCR local pour les routes en texte seul : lorsque le modèle de session déclare qu'il ne peut pas accepter d'images, l'image jointe est mise en cache localement et son chemin est injecté pour que le modèle puisse appeler ocr_image — PP-OCRv5 + ONNX Runtime sur CPU, sans clé API, les images ne quittent jamais la machine. Silencieux lorsque le modèle peut voir les images.

Reconnaissance d'images volumineuses pour les modèles vision-exp : reconnaissance par tuiles 800×800 sans perte (smart/pipeline/full), OCR local avec prétraitement et routage d'écriture manuscrite, GPU multi-fournisseur en option (DirectML/CUDA/OpenVINO) avec repli CPU automatique.