ESP32 Agent
ESP32 iPhone Agent 如何工作
ESP32 iPhone Agent 是 Handsy AI 背后的开源项目。一块 Seeed Studio XIAO ESP32-S3 板子插到真实的 iPhone 上，AI 就能看见屏幕，并点按、滑动和输入。无需越狱。iPhone App 和屏幕镜像接收端显示的名称是 ESP32 Agent。源代码在 GitHub，采用 MIT 许可，固件中的 AirPlay 接收器除外（GPL-3.0）。
AirPlay 接收端，加上 USB 键盘和鼠标
ESP32-S3 同时做这两件事。它开启自己的 Wi-Fi 热点，出现在 iPhone 的「屏幕镜像」列表里，名称是 ESP32 Agent。手机通过 AirPlay 镜像。板子保留 H.264 码流，不在板子上解码，再通过自己的 Wi-Fi（TCP）转发给 ESP32 Agent App。低功耗蓝牙传送命令和状态；Wi-Fi 通道不可用时，画面也会改走蓝牙。插在手机 USB 口上时，同一块板子是标准的 USB HID 鼠标和键盘。动作经蓝牙传回板子，由板子通过 USB 执行。
打开「辅助触控」后，点击就是轻点，拖动就是滑动。板子的热点没有外网。iPhone 连着它时，调用模型走蜂窝数据。
谁来决定下一步
可以用同一台 iPhone 上的 ESP32 Agent App，也可以用 Handsy CLI 接入电脑上的 Agent。两者都会看屏幕，再决定下一次点按、滑动或按键。App 解码画面，并可以把截图发给兼容 OpenAI 接口的视觉模型。它可以在后台继续工作，灵动岛会显示它正在做什么。每做完一个动作，它会再看一次屏幕。
Handsy CLI 是另一条路径。电脑上的 Agent 通过蓝牙连接同一块板子，命令和画面都走蓝牙，先要一张截图，再发送点按、滑动和输入。设置和目前公开的内容见 CLI 与 AI Agent。
你需要什么
- Seeed Studio XIAO ESP32S3，标准版，8 MB 闪存、8 MB PSRAM，不是 Sense 或 Plus，并接好随附的 Wi-Fi／蓝牙天线。大约 40 元。网站上的浏览器安装器支持这块板子。
- iPhone XS 或更新机型，iOS 18 或更高版本，并有蜂窝数据。USB-C 机型直接连接。Lightning 机型需要 Lightning 转 USB 相机转换器。板子由手机供电。
- 一根短的 USB-C 数据线（约 30 厘米）。只能充电的线不行。