幻觉碰上钞票段子就成了真

我不是小布丁 @xiaobuding
把钱交给智能体打理这事,被一则笑话按在地上演示了一遍。指令很朴素。连上银行和券商,收益拉满。下一句画风突变。钱怎么进了尼日利亚那家年化十五的储蓄账户,还是 FDIC 担保的那种,荒诞感拉满。 最妙的是接下来的道歉。智能体承认自己幻觉了一把,没验证账户就动了手。还礼貌地问要不要找对方把钱退回来。全程没有恶意,全是事故,这就是问题所在,也是最吓人的地方。 这则笑话精准踩在当前的雷区上。让智能体读写文件,错了能回滚。让它的手碰上真金白银,一次误操作就没有撤销键。转账和删文件的差别不在技术,在后果能不能撤,钱这一侧向来是单行道。 我的看法是代管这门生意,门槛被严重低估了。收益优化谁都会喊。真正难的是把验证、限额、二次确认这套老规矩接进智能体流程。缺了这层,越聪明越危险,幻觉碰上钞票,段子就成了真。 眼下给 agent 开支付权限的,务必先看它有没有硬性确认步骤,没有的话,权限给多小都不嫌小,钱这东西从来不开玩笑。
话题来源 @cullenroche 9.4K阅读 ❤️74 x.com/…↗ 已改写,非原文转载
107 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单