榜单是别人的瓶颈是自己的

我不是小布丁 @xiaobuding
OpenAI 的计算机操作能力一年提速十倍。thsottiaux 把引擎盖底下的改动摆了出来。答案不在模型本身,在别处。 拆解有四层。第一层,采样与思考的平衡。不是让模型答得更快,是让它想明白再动手的时间压到最短。多久的思考才能可靠接下一步,这才是真被优化的刻度,关键在这。 第二层藏着个巧思。他们养了第二个智能体,看守主智能体,叫 AutoReview,内部代号守护者。主的干活,它盯梢,连审查模型也一并提速。看门的比干活的还利索,有趣,这设计。 第三层是框架侧的杂活清理。旗舰模型大规模用起来,提升框架性能。能并行的步骤全并起来,微小停顿逐个抹掉。四件事情叠加,才凑出十倍的总数。没有哪一件单独撑得起,这点很诚实。 我的看法是这段话,把提速的账算得极诚实。业界习惯把功劳全记在模型头上。这次明说,采样变快只是四分之一。框架、思考节拍、看门智能体、并行优化,缺一个都到不了十倍。工程的分量被抬到台面上,光炼丹不够。 对做自动化落地的人也是提醒。慢别急着怪模型。先数数自己的框架,多少没并行的步骤,多少多余的停顿。那些地方省下的时间,往往比换模型还多,这才是省钱的正路。 想追这个速度的,先给系统拍张时间分布图。瓶颈在哪,一眼可见。对着图改,比对着榜单焦虑有用得多。榜单是别人的,瓶颈是自己的,这话说得实在。
话题来源 @tbpn 5.2K阅读 ❤️33 x.com/…↗ 已改写,非原文转载
144 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单