48美元训出GPT-2！Karpathy开源nanochat让每个人都能训练自己的ChatGPT

用 100 美元训练自己的 ChatGPT？Karpathy 这款开源工具做到了

你敢信吗？2019 年训练一个 GPT-2 级别的模型要花 4.3 万美元——Karpathy 最新开源的 nanochat，把这个成本砍到了 48 美元，2 小时内在单节点 8×H100 GPU 上搞定。

这不是吹牛，是真实跑出来的 Leaderboard 数据。

一个脚本，从零训到能聊天

nanochat 定位是「最简洁的 LLM 训练实验框架」，代码极简、hackable，覆盖了大模型训练的全流程：

• 分词（Tokenization） → 预处理文本数据
• 预训练（Pretraining） → 喂数据训练基础模型
• 微调（Finetuning） → 垂直领域适配
• 评估（Evaluation） → DCLM CORE 等基准测试
• 推理（Inference） → CLI 对话界面

最骚的是：只要调一个参数 --depth（层数），其他所有超参数（宽度、学习率、batch size）全部自动计算最优值。GPT-2 能力对应约 depth=26，其他交给框架。

GPT-2 Speedrun 挑战赛

项目还搞了个有趣的社区挑战：在 8×H100 GPU 节点上，谁用最短时间把模型训练到 GPT-2 水平？

目前 Leaderboard 第一名 1.65 小时，用的是 Autoresearch 自动调优。普通人照跑 runs/speedrun.sh 脚本，大约 2 小时训练完毕，然后直接 python -m scripts.chat_cli 开聊——花一杯奶茶的钱，拥有一个能对话的私人模型。

适合谁用？

• AI 研究者：快速跑实验、验证 Scaling Laws 假设
• 开发者：理解 GPT 训练全流程的最佳实践起点
• 学生/爱好者：花不到 100 美元，亲手训练一个「大模型」

怎么上手

用 uv 管理依赖，一行安装：

uv sync --extra gpu

然后租一台 8×H100 节点（比如 Lambda），跑：

bash runs/speedrun.sh

训练完激活环境，python -m scripts.chat_cli 开聊。

54.8k GitHub Stars 的分量摆在那——Karpathy 出品，必属精品。趁还没被大规模搬运，收藏起来。

⭐ GitHub：karpathy/nanochat

GitHub: https://github.com/karpathy/nanochat