跳转到内容

常见问题

使用 App:不用。电脑只在第一次通过浏览器安装板子固件时用到,之后由 App 和板子一起完成任务。

使用 CLI:需要。Agent 在电脑上运行,通过蓝牙连接板子。演示、设置与发布状态见 CLI 与 AI Agent。

Handsy AI 即将登陆 App Store,上架后会在这里提供下载入口。开始使用里有下载、安装和首次设置的完整步骤。

没有自己的 AI 服务,也能先试吗?

Section titled “没有自己的 AI 服务,也能先试吗?”

可以。App 内目前有免费的 AI 服务可用,可以先从这里开始。你也可以接入自己的、支持图片且兼容 OpenAI 接口的服务;只有自行配置服务时才需要填写 API 密钥。

未来我们会提供可订阅的 AI 服务,让你更方便地直接体验。不同服务如何处理截图和任务,见隐私政策。

可以。在 App 或灵动岛里停止即可。任务需要你帮忙时,App 可以发来通知;长按后可以继续、跳过、停止或接管。希望在敏感步骤前先确认,请保持 Settings → Runs(设置 → 运行)里的风险确认开启。

iPhone 连上板子的 Wi-Fi,才能把屏幕镜像传过去。这个 Wi-Fi 没有外网,App 会通过蜂窝数据连接你选择的 AI 服务。屏幕镜像留在本地连接中,不走蜂窝;模型请求才使用蜂窝数据。运行任务时请保持蜂窝数据可用。

蓝牙配对失败,或者必须贴近手机才连得上

Section titled “蓝牙配对失败,或者必须贴近手机才连得上”

检查随附的 Wi-Fi/蓝牙天线是否接到了板子上。没有天线时,蓝牙可能无法连接,或只有板子紧贴手机才可用。先接好天线,让板子靠近 iPhone,再试一次 Plug Me In。

天线接口的位置,见先接好天线。

即将提供的固件 v0.2.2 和配套新版 CLI中,先配对,再运行:

终端窗口
esp32agent wifi

它通过已配对的加密蓝牙会话读取热点名和密码,只读、不修改配置。App 正在操作板子时优先,请等任务结束再试。这个命令计划随该版本提供,之前的 CLI 尚不支持。

在该版本发布前,可以从 ESP32 Agent App 查看,或通过板子的 USB 串口读取:

  1. 把已安装固件的板子用 USB 接到电脑,打开板子正常运行时的串口,波特率设为 115200。
  2. 发送一行 0 netinfo,以换行结束。
  3. 确认 mode 是 ap,使用 ssid 和 pass 在 iPhone 设置里加入板子热点。
  4. 读完把板子接回 iPhone,再开启屏幕镜像。普通重新插拔不会改变已保存的热点密码。

不要分享完整串口回复,其中还包含访问令牌。mode 是 sta 时,显示的是板子所加入网络的凭据,不能当作板子自己的热点信息。

  1. 插上板子。使用 App 时,在 App 内完成蓝牙配对;使用 CLI 时,在电脑上运行 esp32agent pair。
  2. 让板子靠近手机并加入它的 Wi-Fi。CLI 用户先读取热点密码,再到设置 → 无线局域网连接;App 用户也可以跟随加入提示,或使用 App 显示的密码手动连接。
  3. 打开控制中心 → 屏幕镜像 → ESP32 Agent。
  4. 保持 iPhone 解锁。

ESP32 Agent 是屏幕镜像列表里的接收端名称。

加入板子 Wi-Fi 失败时,把板子紧贴手机后再试。板子热点的发射功率较低,这与蓝牙配对是两件事,见连接问题讨论。

先停止任务。预览停在旧画面时,Handsy 可能根据旧画面重复操作,看起来就会很慢。Issue #25 和 #29中都有这类反馈。

断开屏幕镜像,再重新连接。确认 iPhone 已解锁,而且仍连着板子的 Wi-Fi。切到另一个画面,确认预览也跟着变化后,再重新开始任务。

如果还是不行,保持镜像开启,在 App 里打开 Settings → Diagnostics → Video,把这里的情况告诉支持团队。

打开设置 → 辅助功能 → 触控 → 辅助触控,保持指针可见、iPhone 竖屏。使用 App 时完成 Let Me Use the Pointer;使用 CLI 时运行 esp32agent calibrate,不需要进入 App 校准。

先给一个明确的目标,例如「打开设置,进入无线局域网」。跑通后再试更长的任务。选择能理解图片、遵循指令的模型;每一步的速度也受模型响应和网络影响。

第一次运行时看着它。如果走偏了,停止后把目标写得更具体。你也可以在手机上回放,看看卡在了哪一步。

请保持手机解锁并使用竖屏,锁屏会停止屏幕镜像。iOS 不会镜像密码输入、Apple Pay 或受 DRM 保护的视频。输入效果取决于手机当前的键盘,先用短句检查结果。CLI输入中文时,请启用手机的拼音键盘,并选择正确候选词。

插着板子时,手机还能充电吗?

Section titled “插着板子时,手机还能充电吗?”

板子占用 iPhone 的 USB 口,并由手机供电。本教程这套连接方式不支持同时有线充电。如果你的机型不能无线充电,安排长时间任务前请先考虑电量,见充电问题讨论。

Handsy 会把截图发给你选择的 AI 服务,用于判断下一步操作。隐私政策说明发送范围、存储方式和你的选择。你可以在手机上回放和导出运行记录;如果使用自己的 API 密钥,密钥保存在 iOS 钥匙串里。

使用 CLI 时,截图和历史记录保存在电脑上;电脑 Agent 可能把截图发送给它使用的模型服务。请查看 Agent 的权限和数据政策。手机 App 内的免费 AI 服务,不等于电脑 Agent 使用的模型服务。