# CMU11-667: Large Language Models: Methods and Applications

## 课程简介

- 所属大学：Carnegie Mellon University
- 先修要求：具备机器学习基础（相当于 CMU 的 10-301/10-601）和自然语言处理基础（相当于 11-411/11-611）；熟练掌握 Python，熟悉 PyTorch 等深度学习框架。
- 编程语言：Python
- 课程难度：🌟🌟🌟🌟
- 预计学时：100 学时以上

该研究生课程全面介绍了大型语言模型（LLM）的方法与应用，涵盖从基础架构到前沿技术的广泛主题。课程内容包括：

1. **基础知识**：语言模型的网络架构、训练、推理和评估方法。
2. **进阶主题**：模型解释性、对齐方法、涌现能力，以及在语言任务和非文本任务中的应用。
3. **扩展技术**：大规模预训练技术、模型部署优化，以及高效的训练和推理方法。
4. **伦理与安全**：模型偏见、攻击方法、法律问题等。

课程采用讲座、阅读材料、小测验、互动活动、作业和项目相结合的方式进行，旨在为学生提供深入理解 LLM 的机会，并为进一步的研究或应用打下坚实基础。

**自学建议**：

- 认真阅读每次课前指定的论文和材料。
- 熟悉 PyTorch 等深度学习框架，动手实现模型和算法。
- 扎实完成课程作业。

## 课程资源

- 课程网站：<https://cmu-llms.org/>
- 课程视频：部分讲座幻灯片和材料可在课程网站获取，完整视频可能需通过 CMU 内部平台访问。
- 课程教材：精选论文和资料，具体阅读列表详见课程网站。
- 课程作业：共六次作业，涵盖预训练数据准备、Transformer 实现、检索增强生成、模型比较与偏见缓解、训练效率提升等主题，详情见 <https://cmu-llms.org/assignments/>
