Plugins

Uso do computador por meio de um dispositivo USB HID externo: nomeie um alvo em linguagem natural, um modelo de visão o localiza em uma captura de tela recortada, e um Raspberry Pi Pico 2 move o mouse real e digita no teclado real. 7 ferramentas. Windows tem listagem de janelas, recorte por janela e elevação automática de janelas; macOS precisa de pyobjc e não tem nenhum dos recursos; Linux não é suportado.

Mouse e teclado reais para um agente do DeepSeek Harness: descreva em palavras o que deve ser clicado, um modelo de visão encontra o alvo e um dispositivo USB HID clica nele.