Plugins

Outil de compréhension vidéo à faible coût : un outil video_understand transforme un lien Bilibili / BV / une vidéo locale en couche d’informations AVIS (ASR + structure de scène + suivi d’objets + étiquettes YOLO) et renvoie un résumé + Q&R. Routage dynamique inter-couches guidé par les questions (L0 ASR / L1 suivi d’objets / L2 VLM sur image clé), réutilisation de la couche sémantique pour les questions répétées, plafond de budget par question. Moteur Python : la couche principale nécessite faster-whisper / opencv / yt-dlp (~200-300MB) ; la couche sémantique optionnelle ajoute ~2GB de torch / transformers / ultralytics. Un doctor --fix inclus configure le venv et installe les deux.

Flux vidéo de style TikTok dans une fenêtre de barre latérale flottante : parcourez des dossiers locaux ou SMB-NAS, ou collez des URL de vidéos en ligne (yt-dlp, bilibili/YouTube, état de connexion cookies.txt) ; la fenêtre s’adapte automatiquement au ratio de la vidéo, avec plein écran, redimensionnement par glisser-déposer, streaming Range et point de terminaison de file vidéo d’agent.

Downloads a Bilibili video with yt-dlp, samples key frames, and transcribes it — from the site subtitles, or from a local faster-whisper install when there are none. Registers the skill the agent uses to write the summary; activates when a user message contains only a video link. Requires yt-dlp and ffmpeg on PATH; transcription needs faster-whisper.