Qwen 团队开源了 Qwen-MM-Plugins:让你正在用的那个 agent 直接能看图、能看视频——GitHub 2983 星、Apache 2.0,8 月初放出第一版,一个多月里已经连加八组插件(仓库:github.com/QwenLM/Qwen-MM… )。
它戳的痛点很具体:让写代码的 agent 帮你调界面,它看不见截图,你只能用文字把"按钮在右上角、间距太大"来回描述,对好几轮还对不上。core 插件默认不用任何 API 密钥就能读本地图片和视频帧——文档、代码、数据表、3D 模型直接看;要更重的能力再挂 api 插件(OCR、目标定位、语音转文字、区分说话人、字幕、事件分析),要查资料挂 search 插件(Serper、Exa、Tavily 都能接)。
安装面也很宽:Claude Code、Codex、Gemini CLI、Qwen Code,装进哪个都行。
把这两天的三条串起来看,图景就完整了:昨天发的 mobile-mcp 让 agent 摸得到真机、cua 让它点得动界面、今天这组让它看得见画面、听得见声音——原帖那句总结到位:能看、能听、还能动手,agent 的感官配齐了。
"说、写、查、点、看、听"六样凑齐之后,agent 与人的协作界面才真正对等:以前你替它看(文字转述截图),以后它自己看,你只负责说要什么——这正是"黑箱时代判断力是唯一输入"在感知层的最后一块拼图。
两个细节值得单独夸。其一,"默认不用密钥、本地读取"——数据不出门,正是这周数据边界三连一直在争的那件事,官方插件把它做成默认项。其二,mhs 插件操作摄像头、传感器、灯和机械臂时,主机端带安全限制和紧急停止——能动手的东西必须配急停,这与"无论被告什么都不许做"是同一条纪律落到硬件上的样子:先保证停得住,才谈让手伸出去。
留一格清楚的边界:插件质量参差是生态常态,八组插件的成熟度各不相同,上手前先看各自的 issue 与文档;硬件操作那组尤其要小心——接真设备之前,急停和权限务必先验一遍,别让演示事故变成真实事故。
给想给 agent 配"感官"的人一句落地的:先从最痛的那一格开始——你最常"用嘴描述画面"的场景,就是最该装的插件;装完把那次来回五轮的沟通压成一次"你自己看",省下的轮次就是它的安装价值。














