App 使用说明
想让电脑上的 Agent 操作手机？请看 CLI 与 AI Agent。
告诉 Handsy 你想做什么，再看它操作 iPhone。这份指南带你准备一块小板子，开始第一个任务。
先看它怎么做
Section titled “先看它怎么做”这段教程展示手机、板子和 App 如何配合使用。
获取 App
Section titled “获取 App”Handsy AI 即将登陆 App Store，下载入口将在上架后开放。
下载入口开放后：
- 在 iPhone 上，通过本网站打开 App Store 页面。
- 点获取，按 App Store 提示完成安装。
- 安装完成后，点打开，进入 App。
准备这些就够了
Section titled “准备这些就够了”还没买板子或数据线？硬件与购买写清了型号、手机接口和首页同款 Amazon 购买链接。
| 物品 | 准备什么 |
|---|---|
| iPhone | iPhone XS 或更新机型，运行 iOS 18 或更高版本，并有蜂窝数据。USB-C 机型直接连接；Lightning 机型需要 Lightning 转 USB 相机转换器。 |
| 板子 | Seeed Studio XIAO ESP32S3，标准版，8 MB 闪存、8 MB PSRAM，以及随附的 Wi-Fi／蓝牙天线。安装程序支持这个版本，请勿选择 Sense 或 Plus。 |
| 数据线 | 首次安装固件时，需要一条能传数据的 USB 线。只能充电的线不行。 |
| 首次设置用的电脑 | 用电脑上的 Chrome 或 Edge 准备板子。任务运行时不需要电脑。 |
| AI 服务 | 可以先使用 App 内提供的免费 AI 服务；如果希望连接自己的服务，选择接受图片、兼容 OpenAI 接口的 API。 |
任务运行时，iPhone 会加入板子的 Wi-Fi 热点来传送屏幕镜像。这个热点没有外网，调用模型使用手机的蜂窝数据。
1. 准备板子
Section titled “1. 准备板子”把板子插到 iPhone 前，先做一次。这段视频展示浏览器里的安装过程：
- 在电脑上用 Chrome 或 Edge 打开固件安装页。iPhone 和 Safari 不能完成这一步。
- 用数据线连上板子。等页面显示随时可以开始。，再点连接板子。
- 在浏览器的 USB 列表里选中板子。如果页面提示板子正在重启进入安装模式，再点一次连接板子并重新选择。
- 安装过程中保持板子连接、页面打开。
- 等页面显示安装完成。，再从电脑上拔下板子。
找不到板子？换一条数据线，直接连到电脑，并关掉占用串口的其他应用。还是没有：按住 BOOT 插入板子，松开 BOOT，再试一次连接板子。
固件列表没加载出来时，点再检查一次。安装失败时，拔下板子，重新接上，再点连接板子。仍然遇到问题，请看常见问题。
安装会替换板子原有的固件，不会改动 iPhone 或电脑。
2. 连上 iPhone
Section titled “2. 连上 iPhone”把准备好的板子插到 iPhone，打开 App，目前显示的名称是 ESP32 Agent。它会带你完成四步：
先确认天线已接好，设置时让板子靠近手机。配对失败或信号较弱时，把板子移到紧贴手机的位置，并检查天线接口。
- Plug Me In（把我插上）— 通过蓝牙配对板子。
- Let Me See the Screen（让我看见屏幕）— 加入板子的 Wi-Fi，然后打开控制中心 → 屏幕镜像 → ESP32 Agent。
- Let Me Use the Pointer（让我使用指针）— 打开设置 → 辅助功能 → 触控 → 辅助触控。App 会校准指针。
- Give Me a Brain（给我一个大脑）— 可以先选择 App 内可用的免费 AI 服务。也可以填写自己的服务地址和 API 密钥，再选一个视觉模型。你的密钥保存在 iOS 钥匙串里。
免费 AI 服务目前就可以使用。未来我们会提供可订阅的 AI 服务，方便你直接上手体验。选择服务前，请阅读隐私政策。
让手机保持解锁、竖屏。板子由手机供电。
3. 试一句简单目标
Section titled “3. 试一句简单目标”输入「打开设置，进入无线局域网」，然后点 Start。
Handsy 查看屏幕、执行一步，再检查发生了什么变化。可以从灵动岛查看进度，也可以回到 App。两个地方都能停止任务。如果预览停在旧画面，或者一直重复操作，先停止，按镜像排障步骤检查后再试。
需要你帮助时，长按通知回应。你可能会看到 Continue（继续）、Skip step（跳过此步）、Stop（停止）或 Take Over（接管）。
先试一个能看着它完成的任务。手机锁屏后镜像会停止。请使用竖屏；输入文字时，可以先用简短英文检查屏幕上的实际结果。
4. 把好用的任务留下来
Section titled “4. 把好用的任务留下来”保存常用任务，之后就能通过 Siri、快捷指令、小组件或控制中心再次运行。
想查看过程，打开 Runs，选择一次运行，逐步回放截图上的点按和滑动。需要导出时，选择 ⋯ → Export trace。