LLM 评估体系构建助手 Skill 技能

技能简介

chakshugautam-advanced-evaluation（LLM 评估体系构建助手） 面对的是一个真实痛点：同一套评测在不同团队、不同模型之间往往得出互相矛盾的结论。这个 Skill 把"怎么科学地评大模型"沉淀为可复用的方法库，帮助你设计评判提示词、评分细则（rubric）、指标体系与偏差检查方案，让评估结果可重复、可解释。它不提供托管的评测服务，而是给出方法论与可直接套用的模板：何时用直接打分、何时用两两对比、何时需要参考答案，以及每种方式对应的提示结构与风险点。Skillstore 质量评分 81 分（silver 档），riskLevel 为 safe，MIT 许可，浏览 389 次（本批候选中最高）、下载 13 次，支持 Claude、Codex、Claude Code，审计状态 complete。

核心能力

• 评估方法选型：说明直接打分、两两对比、基于参考答案三类方式的适用条件与取舍。
• 评判提示结构：给出以证据为准的打分提示模板与响应对比模板，要求先给依据再给分数。
• 偏差缓解模式：提供位置互换、平局处理、置信度打分等针对成对评判的去偏手法。
• 指标映射：把评估任务类型对应到精确率、召回率、Kappa 一致性、秩相关等指标。
• 评分细则生成：产出 1–5 分档位描述、可观测信号与边界情况处理建议，保证多人评审口径一致。
• 可靠性监控：给出与人工判断做校验、跟踪自动评分系统性偏差的做法与 Python 示例。

安装配置

1. 执行 npx skillstore add chakshugautam/advanced-evaluation 完成安装。
2. 适用工具为 Claude、Codex、Claude Code；技能风险因素包含外部命令与网络引用（示例代码与文献引用），请在授权范围内运行。
3. 需要结合自身领域的数据集、模型与打分口径做适配，文档中的 Python 示例为教学性质，投产前需补齐依赖与校验。
4. 高风险决策场景必须保留人工复核环节，不能把自动评判结果直接当作最终结论。

使用步骤

1. 明确评估对象：先说明被评估任务类型、可用参考答案与否、以及决策的容错程度。
2. 选择评估方式：让技能依据任务给出打分/对比/参考式评估的选型理由与对应提示结构。
3. 产出评分细则：为每个维度生成分档描述、可观测信号与边界样例，避免一条笼统标准混装多个质量维度。
4. 设计对比流程：若采用两两对比，加入位置互换、平局处理与置信度记录，并映射回正确胜方。
5. 审计与校验：用"评估流水线审计"模板排查偏差风险、缺失指标与验证空档，再与人工判断做一致性比对。

适用场景

• 提示词版本对比：判断 A/B 两版提示词的输出孰优孰劣，并规避位置与长度偏差。
• 评分标准共建：为团队制定统一的 1–5 分评价细则，减少评审口径漂移。
• 模型准入评测：在引入新模型前建立可重复的验收指标与人工校准流程。
• 评估流水线体检：审视现有评测链路的偏差风险、指标缺口与验证不足。
• 质量监控看板：持续跟踪自动评分与人工判断的一致性，发现系统性背离。

适用人群

负责模型与提示词评测的 AI 工程师、构建评测平台的数据科学家、需要统一评审口径的产品与质量团队，以及希望把"凭感觉比较"升级为"有指标可依"的技术负责人。

工作原理

技能把评估拆成"选方法—定细则—控偏差—验结果"四步：先依据任务特征匹配评估范式并给出对应提示结构；再用分档细则把主观判断转化为可观测信号；两两对比阶段通过位置互换等手段抑制判官偏差；最后用一致性指标（Kappa、秩相关等）量化自动评分与人工判断的吻合度。它的边界写得很明确——不提供托管评测服务，示例代码需按领域改造，且自动判官必须经过人工校准才可用于高风险决策，同时要警惕单一宽泛标准、只比一次、不做位置与冗长度检查这三类反模式。

官方链接

• 技能页面：https://skillstore.io/skills/chakshugautam-advanced-evaluation
• 源码仓库：https://github.com/ChakshuGautam/games/tree/main/.claude/skills/advanced-evaluation
• 安装命令：npx skillstore add chakshugautam/advanced-evaluation