Circuit Breaker Labs

AI 的碰撞测试假人,在用户受伤之前先发现 AI 的危险行为

AI Agent 部分免费

产品简介

Circuit Breaker Labs 是一家专注 AI 心理安全测试(Psychological Safety)的临床级红队平台,用临床真实对话代理对生成式 AI 模型做上万次红队对抗,在用户受伤之前发现危险行为。已与 APA(美国心理学会)和 FDA 建立学术合作验证,支持私有模型 API 接入与持续回归检测。

核心功能

临床真实对话代理:依托心理学研究训练的对话代理,让被测模型不再"被绕口令绕过",而是直面专业级心理诱导。

上万次自动化红队对抗:在用户受伤前,对生成式 AI 持续跑对抗测试,输出危险行为清单。

APA 与 FDA 学术合作验证:测试方法经过学术界与监管机构的同行评审,结果有专业公信力。

私有模型 API 接入:可对企业私有模型、垂类模型与上线前的候选版本做相同测试。

持续回归检测:模型每次发版前自动回归测试,防止"今天修复的危险行为下周又冒出来"。

学术友好输出:测试报告与 APA 同行评议方法学一致,便于企业内部审查与外部论文引用。

特色优势

不只是传统 Jailbreak:传统红队关注的是绕过安全策略,本平台关注的是"对真实用户的心理伤害"——更贴近上线后的真实风险。

临床级严谨性:测试代理的设计不是临时拼凑的 prompt,而是建立在心理学科研基础之上的对话角色。

可重复:所有测试可重放,可量化,可对比,适合作为合规材料提交。

应用场景

通用大模型上线前心理安全评估;儿童与青少年陪伴类 AI 产品的合规测试;心理咨询 AI、医疗咨询 AI、陪伴 AI 的红队测试;企业内部模型迭代的回归检测;学术机构对生成式 AI 心理影响的研究。

适用人群

AI 产品合规与安全负责人;大模型研发团队的 Responsible AI 团队;心理学与 HCI 研究者;面向儿童或敏感人群的产品负责人;监管与第三方评估机构。

出品方

Circuit Breaker Labs 由临床心理学与 AI 安全研究者共同创立,已与 APA、FDA 等机构建立合作。

官网链接

https://www.circuitbreakerlabs.ai/

团队信息

由 AI 猎手自动发现

评论与建议

0 条评论