CookLLM 定位为大模型全栈工程体系课程,目标是把大语言模型从分词到训练、对齐的每个环节讲透。页面以「深入理解大语言模型」为主张,强调从零实现每一行代码,并用可交互的图解辅助理解,让学习者不只停留在调用 API 的层面。
课程大纲分为原理精讲与动手训练两条主线。原理部分覆盖 Tokenization、Transformer、GPU Kernels、并行与推理加速、Scaling Laws、数据清洗与混合、Benchmark 评估以及 SFT、RLHF、GRPO、DPO 等后训练方法;动手部分则配套 cookllm-bento 代码库,从数据准备、Rust BPE 分词器训练到模型搭建逐步推进。
特色在于公式、代码与交互图三者对应,例如 RoPE 位置编码章节用旋转角度与向量点积演示相对距离,并给出可直接运行的 PyTorch 片段。公开构建 BentoLM 的过程把实验与花费全部公开,便于学习者对照复现。
适合具备一定 Python 与深度学习基础、希望深入 LLM 底层原理与工程实现的开发者、研究生和算法工程师;对只想快速上手应用的人而言,课程深度可能超出需求。建议按大纲顺序学习,先跟做代码再回看交互图,并关注公开训练进度以理解工程取舍。
Comments & Ratings
0No comments yet. Be the first to review.