原文标题：墙裂推荐！开源5天，标星11.7K！大模型培训课LLM101n上线了！
原文作者：机器学习算法与Python学习
冷月清谈：
怜星夜思：
2、课程中提到的数据集有哪些特点？
3、根据课程描述，Storyteller 最终将能够生成哪些类型的故事？
原文内容
让我们训练一个 Storyteller。
今天外网又被 Andrej Karpathy 这一良心课程刷屏了！
项目地址：https://github.com/karpathy/LLM101n
以下是该课程的项目简介：
在本课程中，我们将构建一个 Storyteller AI 大型语言模型 (LLM)，旨在使用 AI 创建、完善和说明小故事，涵盖从基础到类似于 ChatGPT 的可运行 Web 应用程序，并使用 Python、C 和 CUDA 从头开始构建项目，并且只需要最少的计算机科学前提条件。这门课程将使学生对 AI、LLM 和深度学习有相对深入的了解。
教学大纲如下：
-
第 01 章 Bigram 语言模型（语言建模）
-
第 02 章 Micrograd（机器学习、反向传播）
-
第 03 章 N-gram 模型（多层感知器、matmul、gelu）
-
第 04 章 Attention（attention、softmax、位置编码器）
-
第 05 章 Transformer（transformer、residue、layernorm、GPT-2）
-
第 06 章 Tokenization（minBPE、字节对编码）
-
第 07 章 优化（初始化、优化、AdamW）
-
第 08 章 Deepspeed I：设备（设备，CPU，GPU，...）
-
第 09 章 DS II：精度（混合精度训练，fp16，bf16，fp8，......）
-
第 10 章 DS III：分布式（分布式优化、DDP、ZeRO）
-
第 11 章 数据集（数据集、数据加载、合成数据生成）
-
第 12 章 推理 I：kv-cache（kv-cache）
-
第 13 章 推理 II：量化（quantization）
-
第 14 章 微调 I：SFT（监督微调 SFT、PEFT、LoRA、聊天（chat））
-
第 15 章 微调 II：RL（强化学习，RLHF，PPO，DPO）
-
第 16 章 部署（API、Web 应用程序）
-
第 17 章 多模态（VQVAE、扩散 transformer）
那还等什么，学起来吧！
整理不易，点赞三连↓