从损害倒推,先把五件事写死

Michael Dell 把所有部署 agent 的组织都该问的那个问题写成了推文:"这个 agent,无论被告知什么都不许做——这会是什么?" 随即宣布:NVIDIA 的 Open Agent Safety Platform 已进入 Dell AI Factory,客户可以放心地规模化部署自主 agent。

(转述自原帖,原文:dell.com/en-us/blog/a-n… )

这个问题的措辞值得拆两层。前半句"无论被告知什么"点破了大模型时代安全观的转向——约束不能挂在"指令说了什么"上,必须挂在"系统不接受什么"上:提示词可以被绕过、被注入、被劫持,但硬编码的禁区不会因为一句话就让路。

后半句"不许做"则把清单交给了人来提前填写。这正是"护栏不该拆"那篇的终极形态:先写死负面清单,再谈正面能力——与三问清单(能碰什么、谁按隔离键、能否还原)互为里表:三问管流程,这句管底线。

三天之内这条安全线已经走完了一整圈:平台发布(策略与隔离)、参考设计(架构与三问)、长跑确认(策略跟完整周期),今天再加 Dell 的渠道落地——零件、图纸、工期、买家,四样齐了。

当两家硬件巨头在同一件事上合流,"agent 安全"就不再是论文话题或营销话术,而是一门有规格、有报价、有交付日期的生意;对还在观望的企业,现在的问题从"要不要"变成了"按哪份清单装"。

留一格清醒:这是典型的厂商合作口径,具体能力与覆盖范围以双方文档为准;但那句提问本身独立于任何产品——即使你不用这套平台,也值得把"无论被告说什么都不许做"抄进自家的 agent 规范第一页。

给要定这份清单的人一句落地的:别从功能倒推限制,从损害倒推——把"一旦发生就不可接受"的五件事先列出来(动钱、发外部消息、删数据、越权读、无限循环),逐条写成不依赖任何 prompt 的硬拦截。清单写完的那天,规模化部署的底气才第一次有了出处;这也是这条线四篇连发后,最想留下的那一页。

话题来源 @MichaelDell 55.7K阅读 ❤️347 x.com/…↗ 已改写,非原文转载
94 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单