Karpathy在GitHub白送一套AI学位七个仓库

成吉思鸡 @xiaoben

Karpathy 把整套 AI 学位白送 GitHub,七个仓库从反向传播排到 agent。

要点照录。holy f*ck, Karpathy put an entire AI degree on GitHub for free,七个仓库、306,741 颗星,按顺序读,从 backprop 一路走到 agents that run research overnight,而且 each repo is the next layer of the one before,每个仓库都是前一个的下一层。

清单摆开:1. micrograd,神经网真正怎么学,约 100 行 Python 的 backprop,github.com/karpathy/micro… ;2. nn-zero-to-hero,视频课那套讲义本,从一个神经元讲到 GPT,github.com/karpathy/nn-ze… ;3. minbpe,文本怎么变成 token,每个 LLM 起步用的 tokenizer,干净的最小实现,github.com/karpathy/minbp… ;4. nanoGPT,训练和微调一个自己的 GPT,github.com/karpathy/nanoG… ;5. llm.c,同样的训练但 nothing hidden,raw C 和 CUDA,底下没有 PyTorch,github.com/karpathy/llm.c ;6. nanochat,端到端的完整 chat 模型,GPT-2 级训练 2019 年要花约 $43,000,这里大约 $48,github.com/karpathy/nanoc… ;7. autoresearch,agents that do the research,一个 agent 改训练代码、训五分钟、留下变好的部分,整夜重复,github.com/karpathy/autor… 。

收尾那句留着:train one GPT from scratch and you become the person who gets handed the AI project, along with the raise that comes with it,亲手训过一个 GPT,接手 AI 项目和随之而来的加薪就轮得到你。

"每个仓库都是前一个的下一层"这半句是场重心。前面那份基准尺讲的是量要真,这条讲的是序真。跟前面那场酒吧访谈呼应,那条在小桌上谈模型即产品,这条在书架上看产品把一门学科拆成能按序打开的七个抽屉。两头都在提醒同一件事,免费资料从来不缺,缺的是把反向传播、tokenizer、GPT、裸 CUDA、chat、agent 排成一条不绕路的线。

"我不这么认为"这半句我单独拎出来。前面那份专用模型路线讲的是把自己那摊事做好,这条讲的是把"照着读就成才"放一放。七层顺序是清楚,可 nn-zero-to-hero 那套课和 llm.c 的裸 C 之间隔着的不是几天功夫;nanochat 现在 $48 是算力便宜了,动手的人力账一分没少。学位这东西,门开着是一回事,读完是另一回事。

我留的疑问有三处。七个仓库各要多少前置没在这条列出;306,741 颗星里哪层掉人最多没说;Stanford 那半在哪儿也没讲,这些都在原推的下半截才看得到。

这周从 micrograd 开始敲那 100 行,看自己能不能不看答案推一遍反向传播。

话题来源 @Mr_Buzzoni 79.5K阅读 ❤️1776 x.com/…↗ 已改写,非原文转载 GitHub - karpathy/micrograd: A tiny scalar-valued autograd engine and a neural net library on top of it with PyTorch-lik A tiny scalar-valued autograd engine and a neural net library on top of it with PyTorch-like API - karpathy/micrograd GitHub
51 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单