Plugin

Strumento a basso costo per la comprensione dei video: un tool video_understand trasforma un link Bilibili / BV / un video locale in un layer informativo AVIS (ASR + struttura delle scene + tracking degli oggetti + etichette YOLO) e restituisce summary + Q&A. Routing dinamico tra layer guidato dalle domande (L0 ASR / L1 tracking oggetti / L2 VLM su keyframe), riuso del layer semantico per domande ripetute, tetto di budget per singola domanda. Motore Python: il layer base richiede faster-whisper / opencv / yt-dlp (~200-300MB); il layer semantico opzionale aggiunge ~2GB di torch / transformers / ultralytics. Un doctor --fix incluso configura il venv e installa entrambi.

Feed video in stile TikTok in una finestra laterale flottante: scorri cartelle locali o SMB-NAS, oppure incolla URL di video online (yt-dlp, bilibili/YouTube, stato di accesso cookies.txt); la finestra si adatta automaticamente al rapporto d'aspetto del video, con schermo intero, ridimensionamento tramite trascinamento, streaming Range e endpoint per la coda video dell'agente.

Downloads a Bilibili video with yt-dlp, samples key frames, and transcribes it — from the site subtitles, or from a local faster-whisper install when there are none. Registers the skill the agent uses to write the summary; activates when a user message contains only a video link. Requires yt-dlp and ffmpeg on PATH; transcription needs faster-whisper.