Qwen 那边开源了 Qwen-MM-Plugins,agent 从此能自己看图看视频,不再靠你口述。
场景摆开。你让编程 agent 修个网站,毛病你一眼就看见了,按钮太靠右、间距不对、手机上塌了。可它看不见截图,于是你一句句喂,往左挪一点、内边距小一点、不是那个按钮、看右上角,几个回合下来,你成了它的眼睛。
核心插件改的就是这一段。它直接读本地图片和视频帧,不用外部 API 那把钥匙,于是这些都能自己过目,截图、文档、代码图、数据表、三维资产、视频帧。不用再问你"这儿长什么样",它自己瞅。仓库挂在 GitHub 上,已经约三千星,协议是 Apache 2.0。
插件系统还往外伸了几条,照录。要光学字符识别(OCR),有;目标检测,支持;语音转文字,支持;说话人分离,支持;字幕生成和视频事件分析,也都在清单上,接 DashScope 那条路的也接得上。
"你成了它的眼睛"这半句是全场重心。前面拍过的板留下那篇讲的是记账,这条讲的是看东西。跟前面一百万上下文那篇呼应,那条说能吞多大的料,这条说料是不是它自己过目的。跟前面别再口述截图是一体两面,一个管吞,一个管看,眼睛补上了,嘴才闲得下来。
协议和许可证这两样我留意,Apache 2.0 摆在那儿,商用那关先过了一半;三千星这个数也算社区给的第一枚图章。
我留的疑问有三处。读本地文件的延迟没给;插件之间互相调用会不会打架没说;视频帧一次读多少也没交代。
手上有 agent 修界面的,先把这个插件装上,把那句"看右上角"从自己的口头禅里划掉。
话题来源 @Oluwaphilemon1
0.7K阅读 ❤️6 x.com/…↗ 已改写,非原文转载
131 浏览 0 评论
0 反应














