# CMU 11-711: Advanced Natural Language Processing (ANLP)

## 课程简介

* 所属大学：Carnegie Mellon University
* 先修要求：无硬性先修要求，但需具备 Python 编程经验，以及概率论和线性代数基础；有神经网络使用经验者更佳。
* 编程语言：Python
* 课程难度：🌟🌟🌟🌟
* 预计学时：100 学时

该课程为研究生级别的 NLP 入门与进阶课程，覆盖从词表征、序列建模，到注意力机制、Transformer 架构，再到大规模语言模型预训练、指令微调与复杂推理、多模态和安全性等前沿主题。与其他同类课程相比，本课程：

1. **内容全面且紧跟最新研究**：除经典算法外，深入讲解近年热门的大模型方法（如 LLaMa、GPT-4 等）。
2. **实践性强**：每次课配套代码演示与在线小测，学期末项目需复现并改进一篇前沿论文。
3. **互动良好**：Piazza 讨论、Canvas 测验及现场答疑，学习体验沉浸而有节奏。

自学建议：

* 提前阅读课前推荐文献，跟着阅读顺序循序渐进。
* 准备好 Python 环境并熟悉 PyTorch/Hugging Face，因为大量实战代码示例基于此。
* 扎实完成课程作业。

## 课程资源

* 课程网站：[https://www.phontron.com/class/anlp-fall2024/](https://www.phontron.com/class/anlp-fall2024/)
* 课程视频：课堂讲座录制并上传至 Canvas（需 CMU 帐号登录）
* 课程教材：各类经典与前沿论文＋Goldberg《A Primer on Neural Network Models for Natural Language Processing》章节阅读
* 课程作业：[https://www.phontron.com/class/anlp-fall2024/assignments/](https://www.phontron.com/class/anlp-fall2024/assignments/)
