Visione, voce e multimodale

Combina API di testo, visione e generazione di immagini in un unico modello Mix con routing automatico: le richieste solo testo vanno al modello chat, le immagini utente e gli screenshot dell'agente vanno al modello di visione, i follow-up continuano a usare la stessa immagine di sessione, e gli agenti possono generare o modificare immagini con cronologia delle chiamate a livello di sessione.

Ponte HTTP AIGC indipendente dal provider + canvas infinito + post-elaborazione ffmpeg, 13 strumenti tra cui collegamento sul canvas, reroll e modifica dei media.

Note vocali in ingresso, risposte parlate in uscita: detta audio che diventa messaggi utente (trascrizione), fai leggere ad alta voce le risposte dall'agente (sintesi vocale), local-first sotto ~/.dsh/voice

Bridge di visione nativo del provider LLM: le immagini incollate in chat vengono descritte da un modello di visione (Qwen3-VL via pi-ai/llama.cpp) e la descrizione testuale viene passata a DeepSeek solo testo per la risposta — ammissione delle immagini, instradamento e compattazione avvengono tutti tramite meccanismi nativi dell'harness, con una cache LRU delle descrizioni e retry sui 503

Input vocale da microfono per il composer: trascrizione live tramite Web Speech API del browser, deduplicazione/auto-continuazione, punteggiatura intelligente, impostazioni di lingua e invio automatico

Ponte di visione per le rotte DeepSeek solo testuali che analizza immagini allegate e locali tramite endpoint configurabili OpenAI Responses, Chat Completions o Anthropic Messages, lasciando native le rotte con capacità di immagini.

Genera immagini tramite una sessione ChatGPT web con accesso effettuato e le scarica in una directory locale.

Consumer dello strumento ui_mockup: nella fase di discussione genera wireframe e bozzetti ad alta fedeltà di UI, salva il progetto su disco, chiede conferma e poi blocca la specifica di design; include card client, routing delle immagini e i18n.

Assistente di chiamata vocale per la GUI web di DSH: una pallina di chiamata fluttuante e trascinabile, VAD lato browser che invia ogni frase dopo una pausa, riconoscimento vocale FunASR HTTP o in streaming, risposte TTS di MiniMax o compatibili OpenAI, una modalità opzionale con wake word e auto-sospensione, e invio di attività a sessioni subagente separate con progresso, stop e resoconti vocali di completamento.

Plugin DSH gratuito per generare video lip-sync con oltre 3000 voci e oltre 500 lingue.

Riconoscimento immagini configurabile per modelli DSH solo testo: i messaggi immagine vengono prima trascritti da un modello vision compatibile con OpenAI (URL di base, ID modello e chiave API impostati in una sezione Impostazioni) e poi passati al modello principale come testo, mentre viene dichiarato il supporto all'input immagine. Lo schema di autenticazione della chiave API è selezionabile (intestazioni di richiesta in stile OpenAI, Anthropic, Gemini o Azure) e la mancanza di una chiave viene segnalata prima dell'invio di qualsiasi richiesta.

Ponte vision per DeepSeek solo testo: inviate immagini (da sole o miste a testo) e un modello vision piccolo e veloce le descrive dietro le quinte; la chat conserva l'immagine, DeepSeek vede solo testo. Plugin puro: la disinstallazione ripristina tutto.

Evidenza visiva strutturata (OCR/layout/semantica) più uno strumento di acquisizione da camera USB per un ciclo di debug «scatta-guarda-regola»; backend: Ollama, DeepSeek, Xiaomi.

Banco di lavoro per l'attività di creazione video con AI in stile MiniMax-Design, basato su deepseek harness

Trascrizione video con priorità ai sottotitoli, esportazione SRT, controlli di processo annullabili e fallback a faster-whisper large-v3 quando i sottotitoli non sono disponibili.

Un Agent vocale conversazionale come frontend per dsh: parla naturalmente tramite ByteDance Duplex, delega le richieste a task in background e senti i loro risultati asincroni riportati a voce.

Chat vocale in stile Doubao per DSH: tenere premuto il microfono del compositore converte la voce in testo e invia automaticamente, e le risposte dell'IA vengono lette a voce alta. Condensazione opzionale tramite LLM (le risposte lunghe vengono riassunte in brevi frasi parlate, seguendo il modello della conversazione corrente), pulizia del testo adatta al TTS, voci Edge TTS selezionabili, arresto automatico al silenzio regolabile e impostazioni incorporate nella finestra di dialogo delle impostazioni di DSH.

Trasforma la fotocamera di un telefono in un mirino live e ingresso foto per la tua sessione dsh, tramite LAN o USB.

Cattura schermo a doppio motore per DSH: dentro la shell desktop SSiD, un tasto rapido globale o il vassoio apre un overlay di selezione a riquadro a schermo intero (tutti i monitor, frame perfetti al pixel per schermo) con annotazione a riquadro rosso sul posto e una barra degli strumenti in stile WeChat; nel semplice DSH (browser), il pulsante fotocamera del compositore cattura lo schermo via getDisplayMedia e riutilizza nella pagina lo stesso overlay di selezione a riquadro + annotazione in una sola fase. L'immagine ritagliata arriva nel compositore della conversazione corrente tramite il percorso ufficiale degli allegati.

Trasforma la fotocamera di un telefono in mirino dal vivo e ingresso foto per la tua sessione dsh, via LAN o USB.

Generazione di immagini Labnana per DeepSeek Harness: testo in immagine / immagine in immagine / editing preciso con stima dei crediti, saldo dell'abbonamento e interfaccia di impostazioni web.