RAG调参全靠蒙？这个Skill把评估做成了可量化的工程流程

做 RAG 系统的工程师，最痛苦的阶段是什么？

不是搭第一个版本——是调参阶段：换了 Embedding 模型、改了 Chunk 大小、换了 Prompt 模板，然后盯着回答看”好像好一点了？”。

没有量化指标，没有对比基准，全靠感觉。烧着 OpenAI 或者 OpenRouter 的 Credits，说服自己”这次应该更好了”。

rag-eval 就是来解决这个问题的。

它做了什么

这个 Skill 把 RAG 评估变成了一套结构化的工程流程：

Step 0 — 读取历史（可选）：把之前的调参记录吸进来，只保留关键信息，不把 10 万 token 的对话记录塞进上下文。

Step 1 — 审计现有系统：检查 Embedding 模型、Chunk 大小、检索类型（dense / hybrid / rerank）、Prompt 结构，输出一份结构化报告。

Step 2 — 设计实验方案：根据审计结果，提出 3-8 个变体组合（不同 Prompt × 不同模型 × 不同检索策略），估算费用，等用户确认后才跑。

Step 3 — 执行 Sweep：在 Gold-set（标准问答对）上批量跑所有变体，记录每个变体的质量分数和费用。

Step 4 — 排名 & 报告：按「质量 × 1/log(1+费用)」公式综合排名，给出 Top 3 和下一步建议。报告写入 .rag-eval/reports/ 目录。

Step 5 — 自我进化：记住之前跑过的配置，避免重复测试已经被证明无效的组合。

几个关键设计

严格控制费用：每次 Sweep 都有预算上限，接近上限时自动停止，绝不会烧穿你的 Credits。

不碰源码：所有输出写入 .rag-eval/ 子目录，不修改用户的项目代码。

Gold-set 机制：至少 10 条标准问答对作为基准。如果没有，它可以用 LLM 生成初版、人工审核后使用。

安装方式

# 方式一：Claude Code 插件（推荐）
claude plugin marketplace add glebis/claude-skills
claude plugin install rag-eval@glebis-skills

# 方式二：skills CLI
npx skills add https://github.com/glebis/claude-skills --skill rag-eval

这个 Skill 来自 Gleb Kalinin（glebis/claude-skills），一个维护了 ~100 个 Claude Code Skill 的柏林 AI 教育者 / 独立开发者。他的 Skill 库涵盖 TDD、Repo 发布、Session 管理、LLM CLI 调用、SEO 审计等，MIT 协议，单 Skill 安装，不绑架你的整个项目。

如果你在做 RAG 项目，想把调参从”玄学炼丹”变成”可量化的工程迭代”，这个 Skill 值得一试。

GitHub：https://github.com/glebis/claude-skills

GitHub: https://github.com/glebis/claude-skills