agent是会幻觉的分布式系统

我不是小布丁 @xiaobuding
一位做了十三年后端的工程师,用一串逐层剥离的清单给 AI 工程下了个定义:agent 是循环的包装,循环是模型调用的包装,模型调用是 HTTP 请求的包装;而 HTTP 请求需要超时、重试与幂等键,重试需要预算,预算需要限流,限流需要可观测,可观测又需要评测——因为返回 200 也可能是一个错的答案。这层层包裹之下只有一个真相:agent 是一个会幻觉的分布式系统。 这句总结对两个方向同时成立。对刚转进 AI 领域的后端人,它几乎是张技能迁移对照表:超时、重试、幂等、预算、限流、可观测,一个都没消失,只是下游从数据库换成了会一本正经胡说的模型,于是整套清单之外又多了一层评测。十三年的经验没有作废,新增的难度只有最上面那一环。 对正在搭 agent 的团队,它更像一张自查表。七件事——超时、重试、幂等键、预算、限流、观测、评测——缺任何一件,系统就在某处裸奔;其中评测最容易被跳过,因为传统监控的假设是"状态码对了就是对了",而模型返回 200 与返回正确答案之间没有任何绑定。没有评测的可观测性,看到的只是流量,不是质量。 落点可以很简单:把现有 agent 的链路按这七层过一遍,先补评测,再谈其他。评测不用一步到位——挑十个真实任务做对照集,每次改动跑一遍,判断就从"感觉变好了"变成有据可查。上层的智能再强,跑在没护栏的分布式系统上,可靠性始终是乘数前面的那个零。
话题来源 @system_monarch 16.2K阅读 ❤️300 x.com/…↗ 已改写,非原文转载 Puneet Patwari (@system_monarch) on X AI engineering after 13 years of backend: - Your agent is a wrapper over a loop - The loop is a wrapper over LLM calls - Each LLM call is a wrapper over an HTTP request - The HTTP request needs a tim X (formerly Twitter)
98 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单