手机端那双手:谷歌开源安卓Agent测试框架

谷歌开源了安卓自动化测试框架 ARTEMIS——核心定位一句话:让 AI Agent 像人一样直接操作 Android 真机和模拟器。大白话下令就行(例句:"打开地图查一下去哪里的路线,然后再去听首歌"),它看懂屏幕上的按钮和文字,自己一步步跨 App 接着办。仓库:github.com/google/artemis

技术方案值得抄的是分层读屏:先读 Android 无障碍树与 OCR(结构化、便宜、稳),面对 Flutter、Compose、Canvas 这类自绘界面再调 VLM 做多模态兜底——能读结构就不看像素;基准评测里任务完成率 99% 以上。

交互上给了两种模式:极速模式几秒点一下,管日常简单操作;深度模式慢一些,但先制定计划、每走一步自查有没有点错,遇到弹窗或故障自己尝试处置,专攻长流程复杂任务。

我的看法:这条补全了"决策层接管操作"三部曲的最后一块——浏览器(前两天那篇)、桌面(Jev-cu 那篇),如今是手机:三端的共同结构都是"便宜的判断/读取在前、贵的模型兜底在后"。

ARTEMIS 的分层读屏和昨晚 NVFP4 那篇其实是同一种思维——按代价排路线:读无障碍树是白菜价,VLM 是肉价,先白菜后肉。双模式的设计也很直给:快慢不是二选一,是按任务风险选档——日常点按要快,长流程要"计划 + 每步验证";做自动化测试的人尤其该看后者,因为自检那一步就是断言。

99% 以上为发布与整理稿口径,任务集与评测条件以仓库说明为准。

话题来源 @Gorden_Sun 13.4K阅读 ❤️127 x.com/…↗ 已改写,非原文转载
216 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单