skill-up Skill 技能

技能简介

skill-up 是阿里巴巴开源的 Agent Skill 评测与进化工具，专门解决"Skill 到底好不好用"这个长期缺乏答案的问题。随着 Agent Skill 成为 AI 应用的核心基础设施，一段 SKILL.md、几个脚本和一组工具声明就能让智能体获得新能力，但改一行描述、换一个引擎或模型后，Skill 会不会悄悄退化，过去只能靠肉眼检查和人工记忆维护。skill-up 把传统软件工程里的"声明一次、随时回放"能力带到了 Skill 开发中，让每一次迭代都可被验证、可被回归。

它围绕两个互补能力构建：Evaluation（评测）让 Skill 质量可量化、可复现；Evolution（进化）把评测结果转化为下一轮改进，形成一个持续自我完善的闭环。

核心能力

• 声明式评测配置：用 YAML（eval.yaml + cases/*.yaml）定义评测环境、引擎、模型与测试用例，替代零散的临时运行目录
• 跨多引擎运行：内置支持 Claude Code、Codex、Qoder CLI 等 Agent 引擎，并可通过 engine.custom 接入用户自定义引擎
• 灵活的评判方式：支持 rule_based（规则）、script（脚本）与 agent_judge（智能体评判）三种评测策略
• 结构化报告输出：生成兼容 Anthropic 规范的 grading.json、benchmark.json、benchmark.md，以及 result.json、JUnit XML 和 HTML 报告
• 自动修复与回归：配套的 skill-upper 能读取失败报告，自动修复 Skill 或扩充评测用例，重跑并持续迭代
• 兼容 Anthropic 评测格式：可通过 skill-up import 导入 evals.json，或用 --auto 自动识别
• CI 就绪：既可本地开发迭代，也能接入持续集成流水线做质量门禁

安装配置

• 安装 skill-up CLI：curl -fsSL https://raw.githubusercontent.com/alibaba/skill-up/main/install.sh | bash
• 安装推荐入口 skill-upper（以 Codex 为例）：npx skills add https://github.com/alibaba/skill-up/tree/main/skills/skill-upper -g -a codex -y
• 安装 skill-upper（以 Claude Code 为例）：npx skills add https://github.com/alibaba/skill-up/tree/main/skills/skill-upper -g -a claude-code -y
• 通常无需预先安装 CLI，skill-upper 会在运行时检测 skill-up 是否就绪，若缺失会引导智能体完成安装

使用步骤

1. 在 Codex、Claude Code 或其他兼容的 Agent 中打开包含目标 Skill（SKILL.md）的项目
2. 对智能体下达指令："使用 skill-upper 评测这个 Skill，读取 SKILL.md，识别最重要的行为，创建逼真的评测用例并运行 skill-up"
3. skill-upper 自动生成声明式评测套件（evals/eval.yaml 与 cases/ 下的用例）并驱动 CLI 执行
4. 查看 result.json 与结构化报告，总结结果并定位影响最大的失败项
5. 在同一会话中继续迭代：判断是 Skill 错还是评测错，修复 SKILL.md 或评测用例，补充回归用例后重跑，直到关键行为全部通过

适用场景

• Skill 迭代回归：修改描述或实现后，验证 Skill 行为是否仍然符合预期，防止悄悄退化
• 跨引擎一致性验证：确认同一 Skill 在不同 Agent 引擎上的表现是否一致
• 团队协作评审：在代码评审阶段用可复现的评测报告替代肉眼检查
• CI 质量门禁：把 Skill 评测接入持续集成，作为发布前的自动检查
• Skill 质量基准：为同一类任务建立统一的评测基准，横向比较不同 Skill 的优劣

适用人群

• 编写与维护 Agent Skill 的开发者
• 需要保证 Skill 质量稳定性的研发团队与平台团队
• 关注 Agent 工程化、评测体系建设的 AI 应用工程师

工作原理

skill-up 把官方推荐的 Agent Skill 评测循环固化为可复用的 CLI：先编写逼真的测试用例，分别在"带 Skill"与"不带 Skill"的条件下运行同一任务，对输出进行评分，汇总结果后迭代改进。它用声明式的 eval.yaml 与 cases/*.yaml 取代临时的运行目录，自动完成工作区准备、Skill 安装、Agent 引擎调用、评判与报告生成。进化环节由 skill-upper 承担：它读取失败报告，自动修复 Skill 或扩充评测用例，再次触发 skill-up 运行，通过对话驱动整个"评测—修复—回归"的闭环，让报告变成修复、修复变成回归用例，每一轮迭代都让 Skill 与评测套件更强。

官方链接

• 开源仓库：https://github.com/alibaba/skill-up
• 用户手册（中文）：https://alibaba.github.io/skill-up/zh/
• 用户手册（英文）：https://alibaba.github.io/skill-up/