ESP32 iPhone Agent:安装、接线与使用
ESP32 iPhone Agent 是 Handsy AI 背后的开源项目。一块 Seeed Studio XIAO ESP32S3 板子插到 iPhone 上,成为它的眼睛和手:iPhone 把屏幕镜像到板子上,板子作为标准的 USB 鼠标和键盘点按、滑动和输入。无需越狱。iPhone App 和屏幕镜像接收端目前显示的名称是 ESP32 Agent。
这一页汇总完整的设置流程,并链接到详细教程。源代码在 GitHub。
| 物品 | 准备什么 |
|---|---|
| iPhone | iPhone XS 或更新机型,运行 iOS 18 或更高版本,并有蜂窝数据。USB-C 机型直接连接;Lightning 机型需要 Lightning 转 USB 相机转换器。 |
| 板子 | Seeed Studio XIAO ESP32S3,标准版,8 MB 闪存、8 MB PSRAM,以及随附的 Wi-Fi/蓝牙天线。安装程序支持这个版本,请勿选择 Sense 或 Plus。 |
| 数据线 | 一条能传数据的 USB 线。只能充电的线不行。 |
| 首次设置用的电脑 | 用电脑上的 Chrome 或 Edge 安装固件。用 App 运行任务时不需要电脑。 |
型号细节和购买链接:硬件与购买。
1. 在浏览器里安装固件
Section titled “1. 在浏览器里安装固件”把板子插到 iPhone 前,先做一次。
- 在电脑上用 Chrome 或 Edge 打开 handsy.tech/install 的固件安装页。iPhone 和 Safari 不能完成这一步。
- 用数据线连上板子,点连接板子,在浏览器的 USB 列表里选中板子。
- 保持板子连接、页面打开,直到页面显示安装完成。,再拔下板子。
找不到板子?换一条数据线。还是没有:按住 BOOT 插入板子,松开 BOOT,再试一次连接板子。完整步骤和视频:准备板子。
2. 接线:把板子连到 iPhone
Section titled “2. 接线:把板子连到 iPhone”先把随附的 Wi-Fi/蓝牙天线接到板子上。没有天线时,蓝牙可能无法连接,或只有板子紧贴手机才连得上。
| 你的手机 | 需要准备 |
|---|---|
| USB-C 接口 iPhone | 一条短的 USB-C 对 USB-C 数据线,连接手机和板子。 |
| Lightning 接口 iPhone | Lightning 转 USB 3 相机转换器,在它的 Lightning 口接上充电器,再用 USB 数据连接到板子。见 Lightning iPhone。 |
USB-C iPhone 由手机给板子供电。建议用短线(约 30 厘米),并确认支持数据传输。如果 iPhone 上没有出现板子的指针或键盘,先换一根确认能传数据的线试试。
3. 它怎么看、怎么点
Section titled “3. 它怎么看、怎么点”- 眼睛:板子开启自己的 Wi-Fi,出现在“屏幕镜像”里,名称是 ESP32 Agent。iPhone 通过 AirPlay 把屏幕镜像到板子上。这个热点没有外网,调用模型使用手机的蜂窝数据。
- 手:插到 USB 口上,板子就是一个普通的鼠标和键盘。打开“辅助触控”后,点击就是轻点,拖动就是滑动。
- 大脑:板子通过自己的 Wi-Fi 把画面传给 iPhone App,或通过蓝牙传给电脑上的 Handsy CLI。由 App 或 CLI 决定下一步,再经蓝牙发回。App 用不了 Wi-Fi 通道时,画面会退回走蓝牙,速度较慢。
4. 用 App 操作
Section titled “4. 用 App 操作”把准备好的板子插到 iPhone,打开 ESP32 Agent App。它会带你完成四步:
- Plug Me In(把我插上)— 通过蓝牙配对板子。
- Let Me See the Screen(让我看见屏幕)— 加入板子的 Wi-Fi,然后打开控制中心 → 屏幕镜像 → ESP32 Agent。
- Let Me Use the Pointer(让我使用指针)— 打开辅助触控。打开「设置」,搜索「辅助触控」,打开最上面的开关。它位于设置 → 辅助功能 → 触控 → 辅助触控。App 会校准指针。
- Give Me a Brain(给我一个大脑)— 选择 App 内可用的 AI 服务,或填写自己的、接受图片且兼容 OpenAI 接口的服务。
然后试一句简单目标,例如「打开设置,进入无线局域网」,点 Start。让手机保持解锁、竖屏。带视频的完整教程:App 使用说明。
4b. 或者接入电脑上的 Agent
Section titled “4b. 或者接入电脑上的 Agent”Handsy CLI(esp32agent)通过蓝牙连接插在手机上的板子。Claude Code、Codex 或电脑上的其他 Agent 可以截图、点按、滑动和输入,再看一眼屏幕确认结果。设置、演示和发布情况:CLI 与 AI Agent。
