想做也得先有算力:蒸馏研究认领

一个开放研究选题被当众认领,卡住它的不是想法,是钱和算。

Nathan Lambert 的原话摆这儿。如果有人要做蒸馏对前沿进展影响的开放研究,"we happily would at @trillium_labs",乐意做。但得先把资金和算力撑起来才能开工,后面还跟了一句,"you know where to find me",随时可以找他把这事提前。

他自己的身份也在推尾挂着,开放模型研究者、Trillium Labs 的创始人兼主管,之前在 Ai2 共同负责 Olmo,还写后训练那本书和 interconnects 通讯。

蒸馏这件事本身的背景不复杂,小模型向大模型的输出学,学出来的东西够不够、损了多少,正是这篇选题要回答的。

"先认领、后要粮"这半句是全场重心。前面近二十亿只为把数据铺开讲的是大机构把粮草备进语料,这条讲的是小团队把粮草卡在门口。跟前面一百二十亿超了原定目标呼应,一个在融资端排队,一个在研究端等拨,两头都在同一件事上使劲,把想法换成算力。跟前面三周快五倍也接得上,一个省着花算力,一个连花的都还没有。

选题挂出、缺口明说这个姿态我留意,把"缺什么"直接写进认领里,比先应下来再悄悄搁浅要诚实得多。

我留的疑问有三处。这项研究的题目清单没给;需要的算力规模没数;资金从哪来也没提。

这周把自己的算力账摊开看一遍,顺手替这项研究估一估最小可行的那档要多少。

话题来源 @natolambert 4.8K阅读 ❤️77 x.com/…↗ 已改写,非原文转载 Nathan Lambert (@natolambert) on X If you want people to do open research on the impact of distillation to frontier progress, we happily would at @trillium_labs, but just need to scale up funding/compute before getting that done. Hap X (formerly Twitter)
127 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单