Andrej Karpathy 的 nn-zero-to-hero 仓库这两天在 GitHub Trending 榜单上重新冲上去，Star 数被推文描述为”超两万星”，仓库实际数字接近这个量级（这个仓库本身已开源数年，最近因为 Karpathy 在新一轮深度学习课程里引用而再次被提及）。这是一个完整的、从零实现神经网络的教程系列，覆盖从 micrograd 自动求导引擎，到字符级语言模型，再到 GPT-2 重新实现的全流程。
这套教程为什么持续被讨论
市面上深度学习教程几百套，nn-zero-to-hero 能持续被讨论的原因很具体——它是少数让学习者真正”自己实现一个 GPT”的资源。Karpathy 的讲法不是站在 PyTorch 上层 API 解释概念，而是先用纯 Python 写一个 micrograd（30 行代码的自动求导引擎），再一步步往上搭 MLP、RNN、Transformer，最后落到 GPT-2。每一步都是从空白文件开始写。
这种”自下而上”的教学方式比直接读论文或者用框架训模型更有用。一个学完整个系列的开发者会真切理解：反向传播的具体计算图怎么走、为什么需要 layer norm、为什么残差连接重要、Attention 的矩阵在内存里到底什么形状。这些理解在面对生产问题（梯度爆炸、训练发散、推理性能瓶颈）时，比看懂架构图重要得多。
Karpathy 自己的轨迹给这套课程加了权威分
课程的影响力一部分来自作者本人的轨迹。Karpathy 是 Stanford CS231n 主讲人、OpenAI 创始团队成员、Tesla AI 部门前负责人。他对深度学习的理解既有学术深度也有工程深度，讲课语言又是最接地气的”我们一起一行一行写”风格。
这种身份+风格的组合使得 nn-zero-to-hero 在中文 AI 学习圈里的认知度极高。即使现在主流深度学习教程更新很快（HuggingFace 课程、Andrew Ng 系列、fast.ai），Karpathy 这套仍然是公认的”理解神经网络底层机制”首选。
跟着写一遍比看十篇 paper 有用
对学习者的实操建议很简单——不要只看视频，跟着写一遍代码。Karpathy 的视频每个都是 90 分钟到 2 小时的实时编程，全程没有跳过细节。如果只是看一遍，你能记住的只有 30%；如果暂停视频自己写，能记住 80%；如果学完一段后凭记忆重写一次，能真正吸收。
这种学习方式在 AI 工程师招聘里被反复印证。能在白板上写出 attention 的人和只会调 transformer 库 API 的人，工资差距非常明显。Karpathy 这套教程是低成本拿到这种能力差距的最快路径。
课程价值在 LLM 时代反而被放大
有一种观点说，现在大模型这么强，自己手写神经网络已经没必要了。这个观点是错的。LLM 时代的实际工作里，工程师要面对的是更复杂的优化问题——KV cache、推理加速、量化、并行策略、tool use 设计。这些问题没有底层理解就完全摸不到边。
nn-zero-to-hero 的真正价值在 2026 年比当年发布时更大。当所有人都用 transformers 库一行代码 load 模型，能讲清楚 attention 计算图、能 debug 一个训练 loss 不下降的问题、能解释为什么 batch size 影响推理质量的人变得稀缺。这种基础能力的稀缺性会反过来让这套教程的需求更强——这是它过去几年 Star 数始终在增长，最近又被新一轮社区关注重新带火的根本原因。
参考资料：
- Andrej Karpathy，nn-zero-to-hero: Neural Networks from Zero to Hero，GitHub 仓库
