指南
OpenClaw 通过 Handsy 的 MCP 服务器操作真实 iPhone
OpenClaw 操作真实 iPhone 的办法,和 Claude Code 一样:通过 Handsy CLI。CLI 是一个本地 MCP 服务器。描述这个服务器的 Handsy 技能发布在 ClawHub,名字是 handsy。这些文档没有单独的 OpenClaw 命令。它们让每个 MCP 客户端都在能看见板子的那台电脑上运行 esp32agent mcp。
手机保持原样。不越狱,日常使用也不用 Apple 开发者账号。一块 Seeed Studio XIAO ESP32S3 插在手机的 USB 口上,充当键盘和鼠标,接收镜像出来的画面,再通过蓝牙交给电脑。
短的版本
npx -y esp32agent这条命令安装并运行 Handsy CLI。MCP 服务是同一个包加上 mcp 参数。ClawHub 上的技能给接受 JSON 配置的客户端写了这个形状:
{
"mcpServers": {
"esp32agent": {
"command": "npx",
"args": ["-y", "esp32agent", "mcp"]
}
}
}用你给其他 stdio MCP 服务器登记的办法,把 OpenClaw 指到这个本地服务;或者用你安装其他 ClawHub 技能的办法装上 handsy。配对不是 MCP 工具做的。步骤在 CLI 文档里。
连接之前
| 你需要 | 说明 |
|---|---|
| 刷好固件的板子 | XIAO ESP32S3 标准版,8 MB 闪存、8 MB PSRAM。CLI 需要固件 v0.2.2 或更新。浏览器安装器会写入。 |
| 浏览器 | 电脑上的 Chrome 或 Edge,用来刷一次固件 |
| 一部 iPhone | XS 或更新机型,iOS 18 或更高,打开蜂窝数据 |
| 一根数据线 | USB-C 转 USB-C,约 30 厘米,不能是只能充电的。Lightning 机型再加 Lightning 转 USB 相机转换器。 |
| 跑着 OpenClaw 的电脑 | 要有蓝牙,CLI 才能连上板子。接触不到这台电脑的远程 Agent,不能自己连板子。 |
板子由手机供电。OpenClaw 不必跑在 Mac 上。Handsy CLI 支持 macOS、Linux 和 Windows。
把各块接上
- 用 Chrome 或 Edge 打开安装页刷固件。需要 CLI 固件时,用 TestFlight 渠道。
- 先接好天线,再用数据线把板子插到 iPhone 上。
- 打开辅助触控,这样点击是轻点,拖动是滑动。
- 连上板子的 Wi-Fi 热点,在屏幕镜像里选择 ESP32 Agent。
- 在电脑上运行 npx -y esp32agent,然后配对。CLI 文档里有 devices 和 pair。第一次配对要在板子上电后的三分钟内。
- 把 esp32agent mcp 登记到 OpenClaw,或安装 ClawHub 技能 handsy。
- 让 OpenClaw 在手机上做一件小事,并且每做一步都看一张新的截图。
板子的热点没有互联网。OpenClaw 跑在电脑上,所以没关系。任务进行时,手机上需要网络的 App 走蜂窝数据。
一次会话是什么样
你用平常的话说目标,比如「在 iPhone 上打开设置,告诉我现在装的是哪个 iOS 版本」。然后 Agent 用 MCP 工具循环:
- 要一张截图。CLI 通过蓝牙从板子取当前画面。
- 选一个动作:点按、滑动,或输入文字。
- CLI 把这个动作发给板子。板子移动 USB 指针,或在手机上打字。
- 再要一张截图,确认画面变了,再做下一步。
USB 鼠标报告的是移动,不是坐标。CLI 自己跟踪指针、把它送回角落,也可以在精确点按前修正偏差。没有辅助功能树。Agent 只知道像素里有什么,所以模型得能读截图。
文档写明做不到的
- 手机要保持解锁和竖屏。锁屏会停掉屏幕镜像。横屏 App 还不行。
- iOS 不会镜像密码输入、Apple Pay 和受 DRM 保护的视频。
- CLI 的键盘输入是 ASCII。中文按拼音打,再由 Agent 选候选词。
- MCP 工具不做第一次配对。那一步在终端里。
- iPhone App 里的免费 AI 服务是另一条路。它不给 OpenClaw 提供模型。
同一个服务,其他 Agent
Claude Code 用 claude mcp add esp32agent -- esp32agent mcp 登记。Codex 用 codex mcp add esp32agent -- esp32agent mcp。DeepSeek Harness 有自己的插件,另外有文档。手机这一侧不用改。
代码
CLI 在 GitHub,MIT 许可,固件里的 AirPlay 接收器除外,那部分是 GPL-3.0。技能文件是 MIT-0。
装起来
在安装页刷板子,然后按 CLI 文档配对。工具列表在 iPhone 的 MCP 服务器。你自己买的板子不是 Handsy 设备。那个在等候名单上:Handsy 设备页。
相关:从 Claude Code 操作 iPhone · 哪里买 XIAO ESP32S3 · 不越狱的 iPhone 自动化