Зрение, голос и мультимодальность

Размещённый бесплатный vision-компаньон для DeepSeek Harness с устойчивым хранением доказательств по сессии

Связывает изображения сеанса с настраиваемыми провайдерами визуального анализа и возвращает только текстовый анализ подходящим маршрутам моделей DeepSeek Harness.

Мультимодальная рабочая станция для DSH: analyze_image по упорядоченной цепочке переключения из нескольких карт VLM, набор из шести инструментов зрения (масштабирование, выбор цвета, попиксельное сравнение, OCR, обнаружение элементов, встроенный показ) с общим распознавателем изображений, generate_image по протоколам OpenAI/DashScope/ComfyUI, асинхронный generate_video с несколькими картами и конструктором /build-video-tool, а также TTS speak/clone_voice по семи провайдерам — всё управляется одной автосохраняемой страницей настроек.

Ввод одной рукой и без клавиатуры для поля ввода: зажмите кнопку мыши на поле ввода, говорите, отпустите — текст попадает в черновик, а сдвиг вверх отменяет ввод, не оставляя недописанной фразы. Не нужно целиться в кнопку микрофона и запоминать горячую клавишу; рука никогда не покидает область ввода, что важно, когда вторая рука занята. Распознавание работает полностью офлайн (SenseVoice через sherpa-onnx, без API-ключа, звук не покидает машину).

Озвучивает ответы ассистента в DeepSeek Harness: провайдеры преобразования текста в речь с потоковым воспроизведением.

Голосовой ассистент для dsh web: произнесите фразу активации (например, «小鲸»), чтобы включить диктовку без рук — сказанное распознаётся и автоматически вводится в поле чата. Поддерживает голосовые команды редактирования (отправить, очистить, новая строка, остановить чтение) и читает ответы ассистента вслух на китайском. Распознавание речи выполняется локально в браузере через sherpa-onnx WASM, поэтому работает офлайн без API-ключа.

ИИ-генерация аудио для веб-интерфейса DeepSeek Harness — мультивендорный TTS, музыка, звуковые эффекты и дизайн голоса с боковой панелью, сравнением моделей, библиотекой ресурсов и инструментами Agent.

Непрерывные голосовые разговоры для DSH с прослушиванием без рук, push-to-talk, распознаванием речи, ответами TTS и делегированием Agent в фоне.

Локальный TTS в реальном времени для DeepSeek Harness: голосовые пресеты, автоматическое чтение, ассистент настройки движка, кнопка озвучивания и панель настроек для движка GSV-TTS-Lite.

Слушайте подкасты и аудиокниги Ximalaya прямо в веб-интерфейсе DSH: поиск альбомов, просмотр треков по страницам и воспроизведение через панель «сейчас играет» (назад/играть/вперёд, перемотка, громкость, скорость). После входа по QR-коду страница «Моё» показывает понравившиеся треки (нажмите, чтобы включить), подписки на альбомы с подсказками о последних выпусках и отслеживаемых авторов с их публичными альбомами; хост ретранслирует аудиопотоки с поддержкой Range и регистрирует инструмент `ximalaya_play`, чтобы агент мог искать и включать по запросу.

Позволяет вашему ИИ-агенту видеть реальный телефон Android и управлять им: phone_look (объединение зрения и дерева UI), нажатие/свайп/ввод текста, снимок экрана — через adb, для любого клиента MCP.

Понимание изображений для любой модели DSH: инструменты зрения, OCR, grounding и кадрирования с доменными пресетами для гистопатологии, клеточной биологии, анатомии, клинических изображений и научных иллюстраций.

Локальная генерация изображений, голоса, музыки и звуковых эффектов, а также транскрипция с закреплённой идентичностью: персонажи, животные, объекты и голоса актёров определяются один раз и повторно используются при каждом последующем вызове; вырожденный вывод (почти плоское изображение, беззвучное аудио) отклоняется, а не возвращается как успешный, а сгенерированную строку можно прочитать обратно как текст, чтобы клон, проглотивший свою концовку, стал виден. Движки выгружаются в простое, а генерация изображений и транскрипция могут каждая указывать на API в форме OpenAI вместо локального Vulkan-бэкенда.

Плагин DeepSeek Harness, который превращает скриншоты UI в веб-спецификации уровня реализации с помощью OCR, детерминированной геометрии, графов сцены, ассетов и сравнения рендеринга.

Проверяемая среда исполнения для зрения и кросс-платформенного Computer Use для DeepSeek Harness с сохраняющими источник доказательствами.

Голосовой ввод для Web UI: кнопка микрофона, которая запускает локальное офлайн-распознавание речи VocoType и автоматически вставляет распознанный текст в composer (авторазвертывание, дедупликация, непрерывная диктовка).

Голосовой ввод с распознаванием речи для Web UI: кнопка микрофона в композиторе транскрибирует речь в черновик через Web Speech API браузера (без настройки) или совместимый с OpenAI Whisper API (OpenAI / Groq), с выбором модели и языка в Настройках.

Показывает вставленные или загруженные изображения прямо в чате DSH Web и даёт зрение моделям только с текстом: вызываемый моделью инструмент visual_review сначала обращается к любой совместимой с OpenAI мультимодальной API, а при сбое переходит на локальный воркер Qwen3-VL.

Вызываемый агентом vision-инструмент, который описывает локальные изображения через любой настраиваемый OpenAI-совместимый vision endpoint, с опциональной перекрёстной проверкой несколькими моделями и без встроенных ключей.

Объявляет вставку изображений на текстовых маршрутах DeepSeek, описывает вложения с помощью визуального сайдкара и оставляет нативные модели зрения нетронутыми.

Полный пакет возможностей компьютерного зрения для DeepSeek Harness: инструмент vision_understand (API зрения, совместимые с OpenAI, по умолчанию бесплатный Zhipu GLM-4V-Flash), а также точки входа вставки/перетаскивания/кнопки для распознавания изображений.

Даёт dsh возможность генерировать изображения и видео через API grok2api.

`image_gen` GPT Image 2 с OAuth подписки Codex по умолчанию или явным режимом API-ключа: карточка в разработке, до трёх live API partials, устойчивое воспроизведение вложений / lightbox / загрузка, вывод модели только текстом и ограниченные безопасные для учётных данных запросы.