从100行代码到AI科研：Karpathy的7个GitHub硬核路线

Andrej Karpathy 大概是当下最硬核的 AI 大神之一。他在 GitHub 上留下的这 7 个仓库，串起来就是全网含金量最高的一套免费 AI 课程。

这 7 个仓库按顺序走下来，刚好构成一条从零手写反向传播、一路跑到自主科研智能体的完整路线。很多人学大模型，总以为得先啃完几千页晦涩的高数和论文，结果最后卡在复杂的环境配置和框架依赖里，不了了之。这套代码的绝妙之处在于：每一层都在精准拆掉上一层的黑盒。

第一步：micrograd

只用约 100 行干净的 Python 代码，就把神经网络求导和学习的本质摊开给你看。它实现了一个标量自动微分引擎，再配上一个极简神经网络库。从计算图和链式法则开始，彻底打破“黑盒求导”的神秘感。

GitHub：https://github.com/karpathy/micrograd

第二步：nn-zero-to-hero

配套完整的《Neural Networks: Zero to Hero》视频课程笔记，带你从单个神经元徒手搭建，一路走到生成式模型。边讲边写，系统性很强，是目前最受欢迎的深度学习从零课程之一。

GitHub：https://github.com/karpathy/nn-zero-to-hero

第三步：minbpe

剥开文本编码的底层外衣，带你彻底弄懂所有现代大语言模型最开头的分词原理。极简干净的字节级 BPE 实现，覆盖 BasicTokenizer、RegexTokenizer，甚至能复现 GPT-4 的分词逻辑。

GitHub：https://github.com/karpathy/minbpe

第四步：nanoGPT

全网最适合个人练手微调的小型框架，帮你彻底跑通属于自己的轻量化生成模型。核心训练与模型文件各约 300 行，可以在单机多卡上复现 GPT-2（124M）。代码简洁、易于修改，是很多人第一次真正跑通自己语言模型的起点。

GitHub：https://github.com/karpathy/nanoGPT

第五步：llm.c

直接抛弃厚重的深度学习框架，纯粹用 C 语言和 GPU 硬件指令硬核复现完整训练。包含约 1000 行的 CPU 参考实现和高度优化的 CUDA 版本，把训练过程还原到最底层，帮你看清显存调度与性能瓶颈。

GitHub：https://github.com/karpathy/llm.c

第六步：nanochat

把 2019 年需要花费四万多美元的训练任务，直接压缩到几十美元就能跑完的完整闭环。这是端到端的 ChatGPT 风格流水线：从分词器训练、预训练、微调、评估到推理 Web UI，一个脚本即可在单机多卡上跑通接近 GPT-2 水平的对话模型。

GitHub：https://github.com/karpathy/nanochat

第七步：autoresearch

给代码配上能通宵自主试验、自动验证并迭代优化的研究型智能体。核心只有三份关键文件，AI 编码智能体（Claude Code、Codex 等）通宵自动改代码、训练 5 分钟、保留改进。你醒来就能看到实验日志和更好的模型，完成从“手写代码”到“自主科研”的闭环。

GitHub：https://github.com/karpathy/autoresearch

能顺着这条链路吃透的人，早就用不着到处找什么提示词速成班了。底层的工业脉络已经全在你的代码库里。

当然，开源代码虽然开箱即用，但后半截涉及纯硬件指令和自主试验的项目，依然需要你真正沉下心去读懂显存调度与系统日志。代码免费，不等于能省去动手调试的汗水。

真正拉开认知差距的，从来不是你收藏了多少篇技术文章，而是你有没有亲手从第一行代码把那个模型跑起来。建议严格按照 1 到 7 的顺序克隆到本地，逐行阅读、运行、调试。前三个门槛低，后面需要 GPU 和耐心。斯坦福 CS231n 与 Karpathy 的 YouTube 公开课都可以直接配套观看。在云栈社区里，也有不少开发者分享这条学习路线的实战笔记，遇到问题可以在讨论里找到同行人。