プラグイン

AI で HarmonyOS 搭載スマホを DSH Web UI から操作する: リアルタイム H.264 画面ミラーリング、マウスによるタッチとシステムキー、hilog ストリーミング、そしてモデルが画面を読み取り、UI コントロールの位置を特定してから、タップ、長押し、キー押下、文字入力を行える agentic tools を提供する。

Live Android device pane next to your DSH conversation: scrcpy-server H.264 streaming (WebCodecs, 30-60 fps), agent tap/swipe/text with auto-screenshot verification, uiautomator element tree with tap coordinates, host-managed recording + logcat debug sessions. FLAG_SECURE pages are detected automatically with a mitigation chain and a tappable text-view fallback. Emulators and USB real phones, human+agent co-operation, session-isolated, loopback-only.