Плагины

Недорогой инструмент понимания видео: video_understand преобразует ссылку Bilibili / BV / локальное видео в информационный слой AVIS (ASR + структура сцен + отслеживание объектов + YOLO-метки) и возвращает summary + Q&A. Есть динамическая маршрутизация между слоями, управляемая вопросами (L0 ASR / L1 отслеживание объектов / L2 VLM по ключевым кадрам), повторное использование семантического слоя для повторяющихся вопросов и лимит бюджета на каждый вопрос. Python-движок: для базового слоя нужны faster-whisper / opencv / yt-dlp (~200-300MB); опциональный семантический слой добавляет ~2GB torch / transformers / ultralytics. Встроенный doctor --fix настраивает venv и устанавливает оба набора.

Видеолента в стиле TikTok в плавающей боковой панели: листайте локальные папки или SMB-NAS либо вставляйте URL онлайн-видео (yt-dlp, bilibili/YouTube, состояние входа cookies.txt); окно автоматически подстраивается под соотношение сторон видео, поддерживает полноэкранный режим, перетаскивание и изменение размера, Range-стриминг и endpoint очереди видео агента.

Downloads a Bilibili video with yt-dlp, samples key frames, and transcribes it — from the site subtitles, or from a local faster-whisper install when there are none. Registers the skill the agent uses to write the summary; activates when a user message contains only a video link. Requires yt-dlp and ffmpeg on PATH; transcription needs faster-whisper.