Shiken：给 AI 出「表面一样但本质不同」的题，测它到底是在推理还是在背答案

你有没有这种感觉：AI 每次都答得「对」，但总觉得它是在套模板，而不是真的在思考？

这种感觉是对的。

最近看到一个叫 Shiken 的 Claude Code Skill（GitHub: ntholm86/principles-of-earned-autonomy-skills-suite），专门解决这件事。它干的事情很反直觉：不是让 AI 答题，而是专门设计 AI 答不了的题。

怎么玩？

Shiken 会构建一对「表面几乎一样，但本质不同」的测试案例。比如两个 bug 报告，语言描述很像，但一个需要改配置、另一个需要改代码。真正的推理 AI 应该在这里分叉——而只会模式匹配的 AI 会给出完全相同的答案。

它把这种能力叫做 ARF（自主推理保真度）——测的不是 AI 对不对，而是 AI 对的原因对不对。

为什么这个方向值得关注？

AI 行业有个隐形的「信任危机」：大家越来越难区分 AI 是真的理解了，还是在训练数据里见过类似的。现在 Agent 大规模落地，Agent 的行为审计会变得越来越重要。Shiken 背后这套「验证推理过程而非结果」的思想，可能是未来 AI 评测的重要方向。

它的姊妹套件也很值得研究：Vision（理解目标）、Trail（记录决策链）、Improve（迭代优化）、Retrospect（复盘）——共同构成了一个让 AI 行为「可追溯、可审计」的闭环。

GitHub 链接

https://github.com/ntholm86/principles-of-earned-autonomy-skills-suite

适用场景

• Red Teaming / AI 行为审计
• 模型对比评测
• 构建高可靠性 AI 系统

GitHub: https://github.com/ntholm86/principles-of-earned-autonomy-skills-suite