Visão, voz e multimodal

Fala as respostas do agente na interface web do DeepSeek Harness por meio de uma cadeia de fallback de provedores (OpenAI, ElevenLabs, Google, Azure, Groq, Deepgram, OpenRouter, Edge, Piper, eSpeak), para que um provedor com falha ou com limite de taxa passe para o próximo em vez de ficar em silêncio.

Anexos de imagem nativos para DeepSeek somente texto na Web GUI: imagens coladas ou arrastadas aparecem como miniaturas na sessão e, antes do envio, o host as lê com a API de visão gratuita Zhipu GLM-4V-Flash (cadeia de fallback glm-4v-flash) e substitui pela descrição, permitindo que o DeepSeek responda sobre a imagem enquanto o original permanece no histórico.

Kit de ferramentas de pesquisa de modelos do mundo: inspeciona frames, nomeia rotas 3D/pixel/latentes, pontua pred vs GT e competências RSI / wm.yaml.

Analisa imagens de conversa por meio de prompts específicos por modo (caption, UI, documento, grounding, topologia etc.) e injeta evidências estruturadas com primitivas de coordenadas (caixas, pontos, referências) como texto, com cache em nível de sessão para reutilização em replay e compaction.

Plugin de entrada inteligente para DeepSeek Harness — entrada de voz + otimização de prompts

Encaminha imagens para um modelo de visão à sua escolha — reescrita automática, ferramentas explícitas ou híbrido — para que um modelo de chat apenas de texto não falhe em um turno que contenha uma imagem.

Voz full-duplex local-first para DeepSeek Harness, orquestrada por Muxiva

Chamadas de voz iniciadas pelo agente: `offer_call` faz o humano tocar (接听/拒接/稍后再说); as chamadas aceitas são sintetizadas e reproduzidas localmente com CrispASR + Qwen3-TTS (9 vozes, 2 dialetos chineses), e as rejeitadas devolvem a decisão ao agente.

Lê em voz alta as respostas do assistente apenas via a API Fish Audio (traga sua própria chave): leitura por mensagem, alternância de leitura automática e uma página de configurações para modelo, reference_id da voz, chave de API criptografada e proxy.

Extensão nativa de capacidade de visão, usando Zhipu (grátis) ou Qwen-VL (local).

Rota de provedor de visão que transcreve imagens anexadas em texto por meio de um modelo configurável (mais de 15 fornecedores compatíveis com OpenAI e Anthropic) enquanto o DeepSeek continua respondendo.

Ponte de visão para rotas do DeepSeek apenas texto que analisa imagens anexadas e locais por endpoints configuráveis do OpenAI Responses, Chat Completions ou Anthropic Messages, enquanto mantém nativas as rotas com suporte a imagem.

Kit de visão para DeepSeek apenas texto: ferramenta `vision` invocável pelo modelo, adaptadores wrapper para deepseek/opencode-go (v4 flash/pro), cota do Antigravity IDE (default, flash/pro) / qualquer VLM compatível com OpenAI / Gemini / canais locais do Ollama, memória de evidências com reidratação por compactação, cache de hash de conteúdo e um painel de cliente bilíngue.

Ferramenta `vision` invocável pelo modelo para o DeepSeek Harness: descreve e faz OCR de arquivos de imagem chamando diretamente a API de visão Zhipu GLM gratuita (cadeia de fallback glm-4v-flash), sem precisar de CLI externo.

Registra uma rota de provedor `deepseek-vision`: a interface Web aceita imagens coladas e as transcreve para texto pela API de visão Zhipu GLM gratuita antes de delegar ao adaptador DeepSeek.

Imagens anexadas no compositor são transcritas para texto por um modelo de visão compatível com OpenAI antes de chegar aos modelos DeepSeek somente de texto

Live2D session view with realtime voice: continuous voice input, streaming TTS, subtitle translation, multi-model catalog, standalone entry / Live2D 实时语音会话视图：连续语音输入、流式 TTS、字幕翻译、多模型目录、独立入口

Per-reply read-aloud with a multi-provider settings page — MiniMax or any OpenAI-compatible /audio/speech endpoint, with voice, emotion, speed and model selection plus an auto-read toggle.

Local-first voice conversations for DSH, with local speech recognition and synthesis and optional external providers.

DeepSeek Harness plugin: auto-route image-bearing requests to deepseek-v4-flash-vision-exp, then fall back to the original model.

Live speech-to-text dictation into the dsh web composer via OpenRouter STT

MiniMax 语音识别（asr-1.0）+ 语音合成（speech-2.8-hd）的 DeepSeek Harness 全局插件：转写工具、任务结束后用喇叭念一句的播报、实时免手对话、303 个音色可选

Text-to-image for DeepSeek Harness: a `draw_image` model tool, an input-bar 生图 button with a prompt popup (async generation, 4-grid results, download / keep / delete), an /imgdraw image route, and persisted history. Backends: DashScope wan2.7-image (free

Voice conversation mode for the DSH Web GUI: tap the mic to start a full-screen call, talk hands-free, and hear each reply read aloud as it streams. Bilingual (Chinese/English) UI, light and dark themes, adjustable speech rate, and switchable voices.