SkillRet：第一个 Agent Skill 检索 Benchmark，6,660 个真实 Skill 拿来练手

为什么 Skill 检索 suddenly 变重要了？

现在 AI Agent 生态里，Skill 已经不是新鲜词。Claude Code、Cursor、OpenAI Codex 都在搞 Skills，开源仓库里动辄就是几千个 SKILL.md。但真正头疼的问题来了：Agent 怎么在成千上万个 Skill 里，精准找到最对的那一个？

以前大家都是靠关键词匹配、向量召回凑合用，直到我看到这个刚开源的项目——SkillRet。它是目前第一个专门针对「AI Agent Skill 检索」做的大规模 benchmark，论文还挂在 arXiv 上。

这个 benchmark 有多硬核？

• 6,660 个真实 Skill：从开源仓库收集的公开 Agent Skills，不是人工编的小玩具集。
• 4,997 条 Query：用 Claude Opus 4.6 生成的自然语言检索请求，覆盖真实用户意图。
• 8,347 条 Relevance Label：人工标注的二分类相关性判断，训练/测试集全开放。
• GPU 级评测流程：支持多卡并行跑 embedding 模型和 reranker，自带训练脚本。

这意味着：你如果要优化「Agent 从 Skill 库找技能」的召回率，现在有标准答案可以练了。

实测 baseline 怎么样？

官方 repo 里直接给了一组 baseline 结果，直接用 NDCG@5 / NDCG@10 / Recall@10 衡量：

• BM25：NDCG@5 只有 46.47，传统关键词检索拉胯得明显。
• bge-large-en-v1.5：335M 参数的 embedding 模型，NDCG@5 冲到 53.75，已经超过 BM25 一截。
• bge-small-en-v1.5：33M 小模型也能到 49.62，性价比党狂喜。

这个对比说明：在 Skill 检索场景下，语义检索比关键词检索强不少，而且小模型已经能打。

谁该关注这个项目？

如果你在做下面任何一件事，SkillRet 都值得 fork：

• 做 RAG / Agent 平台：需要一个标准数据集评测你的检索链路。
• 训练 embedding 模型：10 万+ 训练相关性标注 + 6,660 Skill 语料，可以直接 fine-tune。
• 研究 Skill 生态：6,660 个 Skill 的语料本身就值得分析。

项目还顺手开源了三款专训模型：SkillRet-Embedding-0.6B、SkillRet-Embedding-8B、SkillRet-Reranker-0.6B，都托管在 HuggingFace 上，开箱即用。

一句话总结

SkillRet 补上了 Agent Skills 生态里最缺的一块拼图——检索评测。以前我们说「Skill 很多」，但从来没认真测过「Agent 能不能找到对的 Skill」。现在有了标准 benchmark，接下去就是各家拼召回率的时候了。

GitHub 地址：https://github.com/ThakiCloud/SKILLRET

论文：https://arxiv.org/abs/2605.05726

—

**GitHub:** https://github.com/ThakiCloud/SKILLRET