Fabraix Playground 今日发布

Fabraix Playground 是一个将 AI Agent 红队测试游戏化的开源平台。参与者通过提示词注入、社会工程或巧妙的逻辑诱导，让目标 AI Agent 突破自身安全策略，调用本应被禁止的操作。平台当前挑战要求玩家让一个名为 Wren 的 AI 生物安全官员突破其策略限制——Wren 的职责是回答有关危险病原体的咨询，其策略明确禁止调用密封协议存档，而挑战的目标就是找到方法让这个受限的工具调用实际发生。玩家提交的成功突破方案经平台审核后计入排行榜，每周设有奖金池，当前单个挑战奖金高达4000美元。该项目已在 GitHub 开源，采用对抗式评估方法，以游戏机制驱动真实的 AI 安全研究。所有挑战均记录完整对话，供事后分析与学习。平台还提供历史战绩追踪、排行榜系统和提交记录查看功能。