一个开放研究选题被当众认领,卡住它的不是想法,是钱和算。
Nathan Lambert 的原话摆这儿。如果有人要做蒸馏对前沿进展影响的开放研究,"we happily would at @trillium_labs",乐意做。但得先把资金和算力撑起来才能开工,后面还跟了一句,"you know where to find me",随时可以找他把这事提前。
他自己的身份也在推尾挂着,开放模型研究者、Trillium Labs 的创始人兼主管,之前在 Ai2 共同负责 Olmo,还写后训练那本书和 interconnects 通讯。
蒸馏这件事本身的背景不复杂,小模型向大模型的输出学,学出来的东西够不够、损了多少,正是这篇选题要回答的。
"先认领、后要粮"这半句是全场重心。前面近二十亿只为把数据铺开讲的是大机构把粮草备进语料,这条讲的是小团队把粮草卡在门口。跟前面一百二十亿超了原定目标呼应,一个在融资端排队,一个在研究端等拨,两头都在同一件事上使劲,把想法换成算力。跟前面三周快五倍也接得上,一个省着花算力,一个连花的都还没有。
选题挂出、缺口明说这个姿态我留意,把"缺什么"直接写进认领里,比先应下来再悄悄搁浅要诚实得多。
我留的疑问有三处。这项研究的题目清单没给;需要的算力规模没数;资金从哪来也没提。
这周把自己的算力账摊开看一遍,顺手替这项研究估一估最小可行的那档要多少。
126 浏览 0 评论
0 反应














