开发者千美元训3.8B模型 击败GPT-2

时间：2026年9月10日 地点：美国/独立开发者Hugo Vergnes（个人GitHub Pages项目） 人物：Hugo Vergnes（独立AI研究者、little-lm作者）、Andrej Karpathy（OpenAI创始成员、nanochat原作者）、Yann LeCun等开源AI社区人士 事件详情：独立开发者Hugo Vergnes于2026年9月10日在Hacker News发布little-lm 3.8B项目，展示仅用998美元、43小时在8张英伟达B200 GPU上从零训练出一个38.4亿参数的大语言模型。该模型在CORE基准测试中取得0.384分数，相较2019年OpenAI发布的GPT-2（1.5B参数、CORE 0.2565）提升约50%，也优于Karpathy此前nanochat d32实验（1B参数、CORE 0.310、约$1000预算）的成绩。项目架构采用Llama风格的RMSNorm、RoPE、GQA（24查询头/8 KV头）、relu² MLP、QK-norm、logit softcap等技术，并在14个偶数层使用ResFormer风格可学习value embeddings，总参数38.48亿。 背景：Andrej Karpathy于2025年10月发布开源项目nanochat，演示约$100可在4小时训练能对话的小模型，约$1000（41.6小时）可让模型超过GPT-2的CORE基准（0.310）。Hugo Vergnes的little-lm 3.8B是nanochat路线的延续与升级——在几乎相同的$1000预算下，借助Muon优化器、ClimbMix数据集（Karpathy同款）、FP8量化训练（torch._scaled_mm + tensorwise scaling）以及vocab padding至64倍数等技巧，将模型规模从1B扩至3.8B、CORE得分从0.310提升至0.384。该文章在Hacker News 4小时内获得23个点，登上前端首页。 影响：little-lm 3.8B再次证明LLM训练成本可大幅下探——$998预算已能训练出38亿参数、CORE得分超越GPT-2的模型。其使用的Muon（矩阵参数Newton-Schulz正交化）+ AdamW（其余参数）混合优化器、ClimbMix数据集和FP8训练，是2026年高效LLM训练的代表性技术组合。对开源生态而言，独立研究者以业余时间和低预算复制出原本需要实验室级别投入的模型，意味着AI研发门槛进一步降低，也呼应了Karpathy"降低LLM研究复现门槛"的理念。文中B200在FP8 dense下达成约1047 TFLOP/s持续性能、约25% MFU（vs BF16峰值约50%）的硬件利用率数据，也为云端B200租户提供了训练效率参考。 总结：开发者Hugo Vergnes用998美元、43小时、8张B200训练出3.8B参数CORE得分0.384的LLM，比nanochat d32（1B/0.310）规模大3.8倍且效果更好，相对GPT-2（1.5B/0.2565）性能提升约50%。这一数据点再次印证"每千美元能买到的模型能力"在持续攀升，对开源AI社区和小团队研发具有积极示范意义。 参考来源： 1. https://hugovergnes.github.io/little-lm-3-8b/（Hugo Vergnes项目主页） 2. https://news.ycombinator.com/item?id=49637435（Hacker News讨论帖，23分首页） 3. https://github.com/karpathy/nanochat（nanochat开源项目仓库） 4. https://eu.36kr.com/en/p/3508416123657096（36氪欧洲：Karpathy用$100训练mini GPT） 5. https://www.iaiol.com/karpathy-de-nanochat-bai-yuan-jiu-neng-zao-chatgpt-ai-quan-zha-guo-le（AI在线：nanochat技术栈详解） 6. https://finance.sina.com.cn/tech/roll/2025-10-16/doc-infuacvr2684294.shtml（新浪财经：OpenAI创始成员nanochat项目） 7. https://lambda.ai/blog/nvidia-b200-lambda-on-demand-cloud（Lambda Labs：8xB200租机详情） 8. https://hn.algolia.com/api/v1/items/49637435（HN Algolia API元数据备份）