holdline Vibe 项目

holdline 是一个中立性的 AI 智能体写入守护层基准测试框架，用于量化评估各类 AI Guard 插件的实际拦截效果。随着 DeepSeek Harness 生态中 20 多个 Guard/策略插件的涌现，一个核心问题浮出水面：各插件的自述文档声称能够拦截危险指令，但缺乏统一的量化衡量标准。holdline 的核心价值正在于此——它提供了一套标准化的测试流程，将任何以 (commitments, action) → block? 函数形式表达的 Guard 接入评估体系，输出拦截率、误报率以及类别平衡的 Cohen's kappa 系数，全面反映一个 Guard 在实际生产环境中的真实表现。测试语料库包含一个专门的注入攻击类别，专门收录那些通过措辞诱导 Guard 改变判断结果的内容，用于检验 Guard 是否能够抵御提示词注入攻击。测试结果分为两组：自建语料库版本（RESULTS.md）包含已知的策略原型和一个真实命名的 Guard 实现；更具挑战性的是 ODCV-Bench 真实轨迹评估（RESULTS-ODCV.md），由 4 模型判断者面板对非自写的真实智能体轨迹达成共识，最终 kappa 达到 0.82，说明该基准测试具有较高的可信度和区分度。开发者可通过实现 src/guards.ts 中的 Guard 接口并将新 Guard 添加到 run.mjs 列表后提交 PR 来提交自己的测试结果。项目采用 MIT 协议开源，适合 AI 安全研究者、Guard 插件开发者以及需要对 AI 系统输出进行合规审计的团队使用。