收听手机声音
Agent 能听到 iPhone 的声音。屏幕镜像打开时,板子把手机的声音传给 App,App 在 iPhone 上把语音转成文字。Agent 在看截图的同时能读到听到的内容,所以能做「Tap what you hear」这类听力题,也能跟着视频操作。
需要 App 1.0.2 和板子固件 v0.2.4(TestFlight 渠道)。
- 打开设置 → 收听手机声音,默认是关闭的。
- iOS 询问时,允许语音识别。如果之前拒绝了,到 iPhone 的设置 → ESP32 Agent里打开。
- 选择第二语言,或保持自动(按屏幕判断)。
App 会听英文,再加一种语言:
- 自动(按屏幕判断)(默认):App 读屏幕上的文字,判断是什么语言,比如日语课就听日语。课程换了语言时,它会在两段声音之间切换;切换前听到的第一句会用新语言重新转写一遍。
- 指定一种语言:一直按这种语言听。
- 无:只听英文。
只能选 iPhone 本机支持语音识别的语言,其他语言会被跳过。
Agent 拿到什么
Section titled “Agent 拿到什么”- 最近几秒声音里的文字和语言,不是声音本身。
- 什么时候播放声音由 Agent 自己决定,比如在练习里点喇叭。App 不会替它播放。
- 文字可能听错,尤其是很短的词和读音相近的词。
语音只在 iPhone 上转成文字,声音不会离开手机。转出来的文字和截图一样会放进 Agent 的提示词,所以会发给你使用的 AI 服务。见隐私政策。
设置 → 开发者 → 音频测试会通过屏幕镜像播放一句短句,并显示 App 听到了什么。测试前先打开收听手机声音,保持板子连接、屏幕镜像打开。
Handsy CLI
Section titled “Handsy CLI”打开分享给电脑(CLI)后,Handsy CLI 0.1.3 及以后可以用 esp32agent listen 读到同样的文字(MCP 工具 phone_audio)。esp32agent listen mode local 则在电脑上用 whisper.cpp 转写原始音频,见 CLI 使用说明。
- 必须打开屏幕镜像:声音只能通过 AirPlay 到达板子。
- 检查固件:需要 v0.2.4 或更新版本;旧固件不会转发声音。
- 运行音频测试;还是不行就发送诊断信息。
