跳转到内容

收听手机声音

Agent 能听到 iPhone 的声音。屏幕镜像打开时,板子把手机的声音传给 App,App 在 iPhone 上把语音转成文字。Agent 在看截图的同时能读到听到的内容,所以能做「Tap what you hear」这类听力题,也能跟着视频操作。

需要 App 1.0.2 和板子固件 v0.2.4(TestFlight 渠道)。

  1. 打开设置 → 收听手机声音,默认是关闭的。
  2. iOS 询问时,允许语音识别。如果之前拒绝了,到 iPhone 的设置 → ESP32 Agent里打开。
  3. 选择第二语言,或保持自动(按屏幕判断)。

App 会听英文,再加一种语言:

  • 自动(按屏幕判断)(默认):App 读屏幕上的文字,判断是什么语言,比如日语课就听日语。课程换了语言时,它会在两段声音之间切换;切换前听到的第一句会用新语言重新转写一遍。
  • 指定一种语言:一直按这种语言听。
  • 无:只听英文。

只能选 iPhone 本机支持语音识别的语言,其他语言会被跳过。

  • 最近几秒声音里的文字和语言,不是声音本身。
  • 什么时候播放声音由 Agent 自己决定,比如在练习里点喇叭。App 不会替它播放。
  • 文字可能听错,尤其是很短的词和读音相近的词。

语音只在 iPhone 上转成文字,声音不会离开手机。转出来的文字和截图一样会放进 Agent 的提示词,所以会发给你使用的 AI 服务。见隐私政策。

设置 → 开发者 → 音频测试会通过屏幕镜像播放一句短句,并显示 App 听到了什么。测试前先打开收听手机声音,保持板子连接、屏幕镜像打开。

打开分享给电脑(CLI)后,Handsy CLI 0.1.3 及以后可以用 esp32agent listen 读到同样的文字(MCP 工具 phone_audio)。esp32agent listen mode local 则在电脑上用 whisper.cpp 转写原始音频,见 CLI 使用说明。

  • 必须打开屏幕镜像:声音只能通过 AirPlay 到达板子。
  • 检查固件:需要 v0.2.4 或更新版本;旧固件不会转发声音。
  • 运行音频测试;还是不行就发送诊断信息。