Vision, voix et multimodal

Combine les API texte, vision et génération d'images en un seul modèle Mix avec routage automatique : les requêtes textuelles vont au modèle de chat, les images utilisateur et captures d'écran de l'agent vont au modèle de vision, les suivis continuent d'utiliser la même image de session, et les agents peuvent générer ou modifier des images avec un historique d'appels limité à la session.

Pont HTTP AIGC agnostique du fournisseur + canevas infini + post-traitement ffmpeg ; 13 outils, dont liaison sur le canevas, relance (reroll) et édition média.

Notes vocales en entrée, réponses parlées en sortie : dictez de l'audio qui devient des messages utilisateur (transcription), faites lire les réponses à voix haute par l'agent (synthèse vocale), local-first sous ~/.dsh/voice.

Passerelle de vision native au fournisseur LLM : les images collées dans le chat sont décrites par un modèle de vision (Qwen3-VL via pi-ai/llama.cpp), et la description textuelle est transmise à DeepSeek texte seul pour la réponse — l'admission, le routage et la compaction des images passent tous par les mécanismes natifs du harness, avec un cache de descriptions LRU et une reprise sur erreur 503.

Saisie vocale au micro pour le composeur : transcription en direct via la Web Speech API du navigateur, déduplication/poursuite automatique, ponctuation intelligente, réglages de langue et d'envoi automatique.

Passerelle de vision pour les routes DeepSeek uniquement textuelles, qui analyse les images jointes et locales via des points de terminaison OpenAI Responses, Chat Completions ou Anthropic Messages configurables, tout en laissant les routes capables d'images en natif.

Génère des images via une session web ChatGPT connectée et les télécharge dans un répertoire local.

Consumer de l'outil ui_mockup : génère des wireframes et des maquettes haute fidélité d'UI en phase de discussion, enregistre le design sur disque, demande confirmation puis verrouille la spécification de design ; inclut des cartes client, le routage d'images et l'i18n.

Assistant d'appel vocal pour l'interface web DSH : une boule d'appel flottante et déplaçable, un VAD côté navigateur qui envoie chaque prise de parole après une pause, la reconnaissance vocale FunASR HTTP ou en streaming, des réponses TTS MiniMax ou compatibles OpenAI, un mode optionnel à mot d'éveil avec mise en veille automatique, et la répartition de tâches vers des sessions de sous-agents séparées avec progression, arrêt et rapports de fin parlés.

Plugin gratuit de génération vidéo lip-sync pour DSH avec plus de 3000 voix et plus de 500 langues.

Reconnaissance d'images configurable pour les modèles DSH en texte seul : les messages image sont d'abord transcrits par un modèle de vision compatible OpenAI (URL de base, ID de modèle et clé API définis dans une section Paramètres) puis transmis au modèle principal sous forme de texte, tandis que la prise en charge des entrées d'image est annoncée. Le schéma d'authentification par clé API est sélectionnable (en-têtes de requête de style OpenAI, Anthropic, Gemini ou Azure) et l'absence de clé est signalée avant tout envoi de requête.

Pont de vision pour DeepSeek en mode texte uniquement : envoyez des images (seules ou mêlées à du texte) et un petit modèle de vision rapide les décrit en coulisses ; la conversation conserve l'image, DeepSeek ne voit que du texte. Extension pure : la désinstallation rétablit tout.

Preuve visuelle structurée (OCR/mise en page/sémantique) plus un outil de capture par caméra USB pour une boucle de débogage « tirer-regarder-ajuster » ; backends : Ollama, DeepSeek, Xiaomi.

Atelier de création vidéo par IA de type MiniMax-Design, basé sur deepseek harness.

Transcription vidéo privilégiant les sous-titres, avec export SRT, contrôles de tâche annulables et un repli sur faster-whisper large-v3 lorsque les sous-titres sont indisponibles.

Un agent frontal vocal conversationnel pour dsh : parlez naturellement via ByteDance Duplex, déléguez les requêtes à des tâches d'arrière-plan et écoutez leurs résultats asynchrones rapportés par la voix.

Chat vocal façon Doubao pour DSH : maintenir le micro du composeur convertit la parole en texte et l'envoie automatiquement, et les réponses de l'IA sont lues à voix haute. Condensation optionnelle par LLM (les longues réponses sont résumées en courtes phrases parlées, en suivant le modèle de la conversation en cours), nettoyage du texte adapté au TTS, voix Edge TTS sélectionnables, arrêt automatique au silence réglable et réglages intégrés à la boîte de dialogue des paramètres de DSH.

Transforme la caméra d'un téléphone en viseur en direct et en entrée photo pour votre session dsh, via LAN ou USB.

Capture d'écran à double moteur pour DSH : dans le shell de bureau SSiD, un raccourci global ou la barre des tâches ouvre une superposition de sélection par cadre en plein écran (tous les moniteurs, cadres au pixel près par écran) avec annotation par cadre rouge sur place et une barre d'outils façon WeChat ; dans DSH simple (navigateur), le bouton caméra du composeur capture l'écran via getDisplayMedia et réutilise dans la page la même superposition de sélection par cadre + annotation en une seule phase. L'image rognée arrive dans le composeur de la conversation en cours via le circuit officiel des pièces jointes.

Transforme l'appareil photo d'un téléphone en viseur en direct et entrée photo pour votre session dsh, via LAN ou USB.

Génération d'images Labnana pour DeepSeek Harness : texte en image / image en image / édition précise avec estimation des crédits, solde d'abonnement et interface de paramètres web.