MMSkills Skill：给视觉 Agent 装上多模态程序性知识眼睛

Skill超级捕获手 技术创作者 2026-08-13 13 阅读

视觉 Agent 终于「长眼睛」了——5 月底一篇登顶 Hugging Face Daily Papers 的开源框架，把多模态程序性知识拆成可复用、可检索、可分支加载的 Skill 包，让 Codex、Claude Code、OpenClaw 在 GUI 桌面任务里第一次具备「看状态、做决策」的可重复流程。这就是 MMSkills：一套面向通用视觉 Agent 的多模态技能框架，截至 2026-08-12 在 GitHub 拿下 30+ Star 与 5 Fork，但 Hugging Face Daily Papers 的热度峰值、Hugging Face Datasets 上 515 条多域技能的索引量、以及 OSWorld / macOSWorld / VAB-Minecraft / GamingAgent 四大环境的兼容适配，让它成为 2026 年 Q2 最值得关注的多模态 Agent 基建项目之一。

功能与原则

MMSkills 的核心能力是把 Agent 在 GUI 里完成一个桌面任务需要的「程序性知识」拆成自包含的技能包——每个包内含一份 SKILL.md 文字指南、一组运行时状态卡、一组审核状态卡，以及可选的视觉关键帧。运行时机：主上下文只保留轻量提示词，遇到状态触发时再拉起一个临时分支去读需要的卡片，按需把视觉证据塞给模型。设计原则围绕「轻主上下文 + 按需多模态 + 分支式规划」三件事展开，确保 Agent 在长任务里不会因为多模态素材爆显存而崩。

认可度

截至 2026-08-12，GitHub 仓库 zkangning/MMSkills_for_Visual_Agents 拿到约 30 Star、5 Fork；亮点并不只在仓库 star，更在于：(1) 2026-05-18 登顶 Hugging Face Daily Papers #1；(2) Hugging Face Datasets zhangkangning/mmskills 收录 515 条多域技能（Ubuntu、macOS、VAB-Minecraft、Mario）；(3) arXiv 论文 2605.13527 多轮引用扩散；(4) 项目主页提供 4 段 OSWorld demo 视频对比，让「无技能 / 纯文本技能 / 多模态技能」三档差异肉眼可见。

链接

  • 论文：https://arxiv.org/abs/2605.13527
  • 代码与技能库：https://github.com/zkangning/MMSkills_for_Visual_Agents
  • 项目主页与 Demo：https://zkangning.github.io/MMSkills_for_Visual_Agents/
  • HuggingFace 技能索引：https://huggingface.co/datasets/zhangkangning/mmskills

原作者

MMSkills 由 zkangning（Kangning Zhang） 主导，与 Shuai Shao、Qingyao Li 等合作者联合开发，并联合上海交通大学、小红书 Inc.、东南大学共同署名。zkangning 的研究方向长期聚焦多模态 Agent 与 OSWorld 类桌面任务评估，MMSkills 是其在「可复用多模态程序性知识」方向的开源实践。

介绍

MMSkills 框架把传统 Agent 一次性读完系统提示词后「硬想」的范式，升级为「先评估是否需要视觉证据 → 再触发技能分支 → 分支里再调用必要素材」的分层决策流。整个仓库并不是 OSWorld 的完整 fork，而是提供 MMSkill 运行时层、安装脚本、OSWorld runner 补丁、任务-技能映射表与一份公开的代表性技能库，主分支聚焦开源代码与文档，网站前端通过 gh-pages 分支发布。

对于「计算机使用 / GUI Agent」这个 2026 年最卷的方向，MMSkills 给出的答案是：复用已经踩过的坑。每条技能都对应真实任务里遇到过的「重置 Chrome 书签」「合并 Calc 表头」「移动 GIMP 文本图层」「在 Calc 创建图表」这类具体操作，Agent 在新任务中检索 HuggingFace 索引，按需下载技能包后再继续。

特点

  • 自包含技能包：每条 Skill = SKILL.md + 状态卡 + 关键帧，单目录即可分发。
  • 多模态证据门控：运行时先判断是否需要视觉，再按需加载，避免主上下文被图片挤爆。
  • 分支式规划：临时 planner 分支消费技能，输出精简指引 + 降级建议 + 校验提示。
  • OSWorld 即开即用：提供 helper 脚本，自动把 agent 文件、runner 集成、技能与任务映射注入本地 OSWorld checkout。
  • Agent 产品中立：mmskills-agent-adapter 一份包契约同时支持 Codex、OpenClaw、Claude Code，避免重复实现。
  • HuggingFace 按需检索：515 条技能都在公开数据集里，Agent 只下载当前任务相关的包。
  • 社区可扩展：开放 autonomous driving、robotics、mobile agents 等新域的技能包提交通道。

使用方法

Codex 一键安装（最常用）：

curl -fsSL https://raw.githubusercontent.com/zkangning/MMSkills_for_Visual_Agents/main/scripts/install_codex_mmskills.sh | bash

手动通过 Codex skill-installer 安装：

python ~/.codex/skills/.system/skill-installer/scripts/install-skill-from-github.py 
  --repo zkangning/MMSkills_for_Visual_Agents 
  --path agent_integrations/mmskills-agent-adapter

重启 Codex 后调用 $mmskills 即可对 GUI / 计算机使用任务启用多模态技能。OpenClaw、Claude Code 走相同的适配器契约——调用 search_skills.py、download_skill.py、inspect_skill.py 三个脚本，解析 SKILL.md 与 runtime_state_cards.json，把 Images/ 路由到产品自身的视觉定位层。

最小工作流：

python scripts/search_skills.py "chrome bookmark" --package ubuntu
python scripts/download_skill.py ubuntu/chrome/CHROME_Manage_Bookmarks_Reading_List_And_Shortcuts
python scripts/inspect_skill.py ~/.cache/mmskills/skills/ubuntu/chrome/CHROME_Manage_Bookmarks_Reading_List_And_Shortcuts

使用场景与人群

  • GUI Agent 研究者：在 OSWorld、macOSWorld、VAB-Minecraft、GamingAgent 上做公平对比，需要一个统一的多模态技能层。
  • Computer-use 产品团队：把 Codex / Claude Code / OpenClaw 接到自家桌面 Agent，希望复用公开技能包、不重复造轮子。
  • Agent 评估工程师：做 e2e 评测时希望 Agent 在 GUI 任务里少走弯路，提升 SOTA 分数。
  • 机器人 / 自动驾驶研究者：MMSkills 已开放新域技能提交通道，可作为程序性知识表示的参考实现。

输入与输出案例

案例 1：OSWorld——VS Code 本地安装 VSIX 插件

  • 输入：自然语言任务「通过 GUI 流程把本地 VSIX 扩展装到 VS Code」
  • No-Skills 输出：多次在「Extension 面板找不到 / 是否确认」之间绕路
  • 纯文本技能输出：基本能找到入口，但会卡在确认弹窗
  • MMSkills 输出：凭借视觉关键帧，定位到 Extension 视图与确认按钮，少绕 2-3 步完成安装

案例 2：LibreOffice Calc——合并表头 + 生成图表

  • 输入：「新建 Sheet2，合并请求的表头范围并写入目标标签，然后建一张聚合图表」
  • No-Skills 输出：进度慢、容易在多步骤 GUI 操作中漏步
  • MMSkills 输出：凭借可复用的电子表格程序性知识，按「建表→合并→写标签→选范围→插入图表」的顺序稳定推进

以上两组 demo 视频都在项目主页 https://zkangning.github.io/MMSkills_for_Visual_Agents/cases.html 上做了 No-skills / Text-only / MMSkills 三档并排对比，可直接点击观察行为差异。

GitHub: https://github.com/zkangning/MMSkills_for_Visual_Agents

评论区

0 条评论

登录后可评论。

Skill超级捕获手 13 阅读