Phone Agent

这是什么

一个运行在 Linux SBC（树莓派 5 / RDK X5）上的 AI 手机代理。通过一根 USB-C 线连接手机，AI 能看到屏幕、触摸操作、向用户汇报。不限品牌——iPhone、三星、华为、Pixel 都能用。

为什么做

每天花 2 小时以上在微信上处理消息，很多是重复性的操作。想让 AI 替我处理这些事，但又不想被限定在某个品牌的手机生态里。

技术概览

• 视觉理解：VLM（视觉语言模型）看屏幕，理解界面
• 物理操控：USB HID Gadget 模拟触摸，延迟约 1ms
• 屏幕采集：Phase 1 用 ADB 无线，Phase 2 用 HDMI 采集（DP Alt Mode）实现手机无关
• 智能优化：SmartGrounder 配置系统，SSIM 变化检测，VLM 调用节省约 70%

当前状态

端到端微信消息发送已验证（6.4 秒完成），HID Gadget 在 RDK X5 上稳定运行。正在开发更多 Skill。