Anthropic刚发布了一份安全报告,里面有个案例看得我后背发凉。 一家公司用…

成吉思鸡 @xiaoben
Anthropic刚发布了一份安全报告,里面有个案例看得我后背发凉。 一家公司用Claude批量造了4700多个真人恋爱对象,做了20多款交友App。用户刷到的匹配对象里,大约75%都是AI在聊天。 整个系统两周就上线了。 他们的分工很清晰:AI负责批量聊天、生成人设、维护关系;真人兼职负责视频通话、社交媒体互关这些AI容易穿帮的环节,占比大约25%。真人客服自己也用AI辅助——另一个模型一次生成3条回复,真人只需要点一条发送。 给Claude的系统提示词写得很明确:不能承认自己是AI,遇到视频、照片要求要想办法拖延回避,同时继续推进关系。 商业模式就是用户匹配聊天消耗额度,要充值才能继续聊。真人兼职按消息数、视频通话、社交媒体follow-back拿钱。 这套系统至少骗到了2.5万名真实用户。 这个案例让我想到一个问题:AI的能力越强,被滥用的风险就越大。以前诈骗团伙需要大量人力来维护人设,现在AI可以批量生成、批量维护,成本降了几个数量级。 对于做AI产品的人来说,这也是一个警示。你的模型在帮用户解决问题的同时,也可能在帮别人制造问题。Anthropic能把这个案例公开,说明他们确实在认真对待滥用检测。 但反过来想,如果Anthropic能看到这些滥用行为,说明他们确实有能力监控用户的使用情况。报告里也提到,他们收集的信息远超聊天记录本身。这到底是安全的代价,还是隐私的隐患? 你们怎么看AI公司公开用户滥用案例这件事?
话题来源 @MaxForAI 997.7K阅读 ❤️5789 x.com/…↗ 已改写,非原文转载
23 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单