Karpathy 演讲与课程：从哪里开始

根据想理解或构建的内容选择起点。本指南串起 Talkshelf 目录里的 7 个 Karpathy 视频，从语言模型入门到神经网络代码和 GPT 分词器。

理解语言模型

可以先看 Intro to Large Language Models 来建立整体认识。这条视频约一小时，是本系列中较短的入门起点。

接着观看 Deep Dive into LLMs like ChatGPT 作更深入的探索。全片约三小时半，也可以分成几次观看。每看完一段，用自己的话解释一个概念，再记下希望后续内容回答的问题。

从代码建立理解

从 building micrograd 开始学习神经网络与反向传播。熟悉 Python 和基础求导会有帮助。先暂停并预测结果，再运行例子，比较实际结果与预测。

接下来， building makemore 介绍小型字符级语言模型。请先学习 Karpathy 的 Neural Networks: Zero to Hero 课程的中间章节，再进入 Let's build GPT。这些章节会建立 GPT 视频所需的张量与 PyTorch 基础。

每次编程学习都简短记录改了什么，以及为什么结果随之变化；这比单独存一串时间戳更有助于下次继续。

了解分词器

Let's build the GPT Tokenizer 聚焦将文本转换成 token 的组件。想了解语言模型如何表示文本时，可以把它作为学习路线中的专题分支。

了解计算机视觉历史

CS231n: Introduction and Historical Context 提供计算机视觉的历史与课程背景。这是 2016 年课程录像，在本指南中承担背景介绍作用。

HN 讨论能补充什么

在一条链接 micrograd 的讨论中，bialpio 写道：“first video is literally from scratch”（第一条视频真正从零开始）。这条 2023 年 1 月的评论也链接了完整 Zero to Hero 系列，有助于理解为什么准备写代码的学习者可以从 micrograd 入门。

各视频页提供对应讨论记录与 HN 原文链接。可以留意评论中提到的先修知识、实际用途，以及视频帮助回答了什么问题。