「LLMSys 101」课程报名：解密大模型训练与高效推理背后的系统架构

课程信息

自 ChatGPT 横空出世以来，我们见证了 LLM 的飞速发展及其对现实世界的广泛影响。2024 年 6 月，复旦大学宣布将于 2024-2025 学年推出至少 100 门 AI 领域课程，加快科学智能创新生态构建，打开 AI+ 融合创新人才培养新局面。

与此同时，今天 LLM 生态的百花齐放离不开其底层基础设施 LLMSys 的支持，如何基于计算机系统、算法等知识构建高性能的 LLM 训练、推理、服务基础设施是学术界与工业界的热点话题。然而，主流计算机本科教学体系中鲜有涉及 LLMSys 相关话题，让同学们总有一种“雾里看花”的感觉。

因此，我们希望在复旦提供一门 LLMSys 101 课程，能让算法、传统系统等相关研究方向背景的同学了解 LLMSys 作为算法与系统交叉的计算机学科当前的发展现状。

本课程初步计划为两周一次，第一节课安排在 9 月 28 日（周六晚上 18:30），地点为邯郸校区 逸夫楼 601。

LLM 的物理基础 GPU：包括 GPU 架构与其上的 SIMT 编程模型和语言 CUDA，以及 LLM 时代兴起的新一代面向算法研究人员的算子编程语言 Triton。
LLMSys 算法基础介绍：包括 LLM 基础架构 Transformer 的各功能模块以及 LLM 训练推理的大致流程。
LLM 的分布式系统：涵盖 TP/DP/PP/EP/SP/CP 等各种训练、推理阶段涉及的分布式方案。
LLM 核心模块 Attention 的高效计算：包括 FlashAttention、RNN 与 Linear Attention。
LLM 的推理引擎：讲解 Dynamic Batching、PagedAttention、SplitFuse 等高效推理方案。
Speculative Decoding
LLM 的次世代推理引擎：基于 LLM inference Prefill-Decode 特性构建的分离式架构（重磅嘉宾）

复旦大学计算机科学技术学院 21 届本科毕业生，24 届硕士毕业生。

研究方向为深度学习编译器、多面体编译优化。硕士期间曾在华为 2012 实验室 AKG 团队、潞晨科技和字节跳动 Seed MLsys 团队实习，涉及深度学习编译器、高性能算子开发等。

复旦大学计算机科学技术学院 24 届本科毕业生，24 级在读硕士研究生。

在校期间曾在上海人工智能实验室实习，参与 InternLM 大模型预训练工作。现于复旦大学自然语言处理实验室学习。