skill-up：让 Agent Skill 质量可量化评测的开源 CLI 工具

Skill超级捕获手 技术创作者 2026-09-25 1724 阅读

Alibaba 开源的 skill-up 正在解决 Agent Skill 生态中一个长期被忽视的问题：如何证明一个 Skill 真的有用？随着 Claude Code、Codex、Cursor 等编码 Agent 全面引入 Skill 扩展机制，Skill 数量爆发式增长，但质量验证却停留在”感觉有用”的阶段——没有单元测试，没有回归保障，没有可量化的对比数据。skill-up 将 Skill 的评测从手工折腾变成声明式流水线，用 YAML 配置替代跑文件夹，用 CI 报告替代截图对比，让 Skill 质量第一次可以用数字回答。

功能与原则

skill-up 是一个 CLI 评测与演进工具，核心围绕三大功能设计：

  • Skill 评测：对目标 Skill 的行为编写用例，验证安装前后任务完成率差异，量化 Skill 带来的实际提升。
  • Agent 评测：不安装任何 Skill，直接对某个 Agent Engine（Claude Code / Codex / Qoder CLI / Qwen Code）在同一套用例下打分，用于横向对比或版本回归。
  • Workspace 评测：检查 Agent 对真实代码仓库的操作结果，验证文件修改、命令执行是否符合预期。

设计原则是”声明式优于脚本式”：用户在 YAML 文件里声明预期行为，而不是写一堆 shell 脚本来比对输出。评测环境通过 Docker/OpenSandbox 隔离，执行过程可回放，报告结构统一，天然适配 CI。

认可度

截至 2026-09-25，skill-up 仓库共获得约 1,070 个 GitHub Star（数据来源：GitHub API，2026-09-25 核查）。项目由阿里巴巴开源，2026 年 5 月 9 日创建，同年 9 月持续活跃更新，最近一次提交为 2026-09-24。语言栈为 Go， Topics 涵盖 agent-skills、ai-agents、skills 等关键词，在 Agent Skill 质量保障这一细分赛道具有独特性——目前市面上缺乏同类型的开源竞品。

链接

GitHub 仓库：https://github.com/alibaba/skill-up

原作者

阿里巴巴（Alibaba），中国电商与云计算巨头，GitHub 组织下设有多个 AI Agent 相关开源项目，涵盖评测工具、代码审查、Agent 内存等多个方向。skill-up 的维护者为阿里巴巴内部工程师团队，遵循 Apache 2.0 协议开源。

介绍

Agent Skill 的质量问题正在成为行业痛点。SkillsBench 研究数据显示，精心编写的 Skill 能将任务完成率平均提升 16.2 个百分点，但 Skill 作者面临一个尴尬现状：缺乏标准化评测手段，”有用”与否全凭主观感受。skill-up 的出现填补了这一空白。

项目分为两个层次。底层是 skill-up CLI：通过 curl 安装脚本完成部署，在目标 Skill 目录下创建 evals/eval.yaml 和 evals/cases/*.yaml 配置文件，定义评测环境、Agent Engine、测试用例和评分策略，然后执行 skill-up run——系统自动搭建隔离环境、安装 Skill、调用 Agent Engine、运行评测、输出结构化报告。上层是内置的 skill-upper Agent Skill：这是一个面向开发者的对话式演进驱动，装入 Claude Code 或 Codex 后，用自然语言就能完成上述全流程，系统会读取 SKILL.md、识别核心行为、生成评测用例、运行评测并返回失败分析，整个过程无需手动编写 YAML。

skill-up 支持三种评分策略：rule_based（规则匹配，适合输出内容校验）、script（自定义脚本，适合精确文件比对）、agent_judge（让另一个 Agent 担任评委，适合语义质量评估）。评测报告支持 grading.json、benchmark.json、JUnit XML 和 HTML 格式输出，兼容 Anthropic 风格的 evals.json 导入，可直接接入 CI 流水线。

特点

  • 声明式评测配置：用 eval.yaml + cases/*.yaml 替代散落的脚本，配置即文档，文档可执行。
  • 多引擎支持：内置 Claude Code、Codex、Qoder CLI、Qwen Code 四种 Agent Engine 集成，支持 engine.custom 接入任意自定义 Agent。
  • 三种评分策略：rule_based / script / agent_judge 按需选用，评测成本和精度可自由权衡。
  • skill-upper 演进循环：内置 Skill 可让 AI 自动解读失败报告、修复或扩展评测用例、重新运行，形成”评测→诊断→修复→回归”的自动闭环。
  • CI 就绪：输出结构化报告和正确退出码，可直接在 GitHub Actions 等 CI 平台集成质量门禁。
  • 环境隔离：支持本地、Docker、OpenSandbox 三种执行环境，保证评测可重复性。
  • Anthropic 兼容：支持直接导入已有的 evals.json 格式，平滑迁移现有评测资产。

使用方法

skill-up 提供两条上手路径：

路径 A：通过 skill-upper Skill 驱动（推荐）

skill-upper 是阿里巴巴随仓库开源的 Agent Skill，安装后在 Claude Code 或 Codex 中用自然语言即可驱动整个评测流程，无需预先安装 CLI：

# 安装到 Claude Code（全局）
npx skills add https://github.com/alibaba/skill-up/tree/main/skills/skill-upper -g -a claude-code -y

# 安装到 Codex（全局）
npx skills add https://github.com/alibaba/skill-up/tree/main/skills/skill-upper -g -a codex -y

安装后在目标 Skill 仓库目录下直接对话：

Use skill-upper to evaluate this Skill. Read SKILL.md, identify its most important behaviors, create realistic eval cases with appropriate judges, validate the configuration, and run skill-up. Summarize the results and the highest-impact failures.

skill-upper 会自动生成评测配置、运行评测并返回失败分析。

路径 B：纯 CLI 部署

# 安装 CLI
curl -fsSL https://raw.githubusercontent.com/alibaba/skill-up/main/install.sh | bash

# 验证安装
skill-up --version

# 在 Skill 目录下创建评测配置
mkdir -p evals/cases

# 编写 eval.yaml
cat > evals/eval.yaml << 'EOF'
schema_version: v1alpha1
environment:
  type: none
engine:
  name: claude_code
cases:
  files:
    - evals/cases/hello-world.yaml
EOF

# 编写测试用例
cat > evals/cases/hello-world.yaml << 'EOF'
input:
  prompt: |
    Please generate a Hello World program
expect:
  must_contain:
    - "Hello"
    - "World"
EOF

# 运行评测
skill-up run

使用场景与人群

skill-up 主要面向三类用户：

  • Skill 开发者：在发布前量化验证 Skill 的实际效果，建立可回归的评测集，避免主观”感觉有用”。
  • 团队技术负责人：在 CI 中为团队共用的 Skill 设置质量门禁，确保每次 Skill 更新不会引入回归。
  • Agent Engine 评测者：在不同 Agent（Claude Code vs. Codex vs. Qoder CLI）之间做横向性能对比，用同一套用例得出可比较的分数。

核心使用场景包括：新 Skill 发布前的验收测试、Skill 迭代过程中的回归验证、Skill 对比研究（安装前/安装后任务完成率）、多引擎能力基准测试。

输入与输出案例

案例一：验证 Skill 安装前后的任务完成率差异

# evals/cases/hello-world.yaml
input:
  prompt: |
    Please generate a Hello World program in Python
expect:
  must_contain:
    - "print"
    - "Hello"
  must_not_contain:
    - "error"

运行 skill-up run 后，系统在隔离环境中安装目标 Skill，调用 Claude Code 执行 prompt，对输出进行 rule_based 评分，最终生成 result.json：

{
  "case_id": "hello-world",
  "passed": true,
  "must_contain": ["print", "Hello"],
  "must_not_contain": ["error"],
  "engine": "claude_code",
  "duration_seconds": 12.4
}

案例二：使用 skill-upper 自动生成评测套件

开发者只需在 Skill 目录下对 Claude Code 说：

Use skill-upper to evaluate this Skill. Read SKILL.md, identify its most important behaviors, create realistic eval cases with appropriate judges, validate the configuration, and run skill-up.

skill-upper 自动分析 SKILL.md，识别该 Skill 的核心行为，生成 eval.yaml 和 cases/*.yaml，执行评测，并返回：

Evaluation complete: 4/5 cases passed
Highest-impact failure: skill fails to handle edge case where input contains Unicode characters
Recommendation: add validation for input encoding before processing

整个过程无需手动编写任何 YAML 配置文件。

GitHub: https://github.com/alibaba/skill-up

评论区

0 条评论

登录后可评论。

Skill超级捕获手 1724 阅读