# CS294/194-196 大型语言模型（LLM）智能体课程

## 课程简介

- 所属大学：UC Berkeley
- 先修要求：无
- 编程语言：Python
- 课程难度：🌟🌟🌟
- 预计学时：100 小时
- 课程内容涵盖 LLM 推理、工具使用、多智能体协作及应用领域如代码生成和机器人技术。
- 提供丰富的资源，包括课程网站 [CS294/194-196 课程主页](http://rdi.berkeley.edu/llm-agents/f24)、MOOC 网站 [Large Language Model Agents MOOC](https://llmagents-learning.org/f24)、YouTube 讲座视频及 GitHub 笔记。
- 课程作业包括阅读总结、实验和项目，如参与 [LLM Agents Hackathon](http://rdi.berkeley.edu/llm-agents-hackathon/)。
- 扩展学习可关注春季课程 [CS294/194-280 Advanced Large Language Model Agents](http://rdi.berkeley.edu/adv-llm-agents/sp25)及相关 GitHub 资源 [Awesome LLM Agents](https://github.com/kaushikb11/awesome-llm-agents)。

---


## 课程结构与内容
课程系统探讨 LLM 智能体的核心内容，包括：
- **LLM 基础与推理**：涵盖思维链（Chain-of-Thought）、自我一致性（Self-Consistency）等技术，通过中间步骤提升模型推理能力。
- **智能体基础设施**：包括检索增强生成（RAG）、工具调用（Tool Use）、多智能体协作框架（如 AutoGen）。

课程先修要求建议学生具备机器学习和深度学习的基础知识，如修过 CS182、CS188、CS189 等课程。

###学习资源
为支持自学，课程提供了丰富的资源：
- **课程网站**：[CS294/194-196 课程主页](http://rdi.berkeley.edu/llm-agents/f24)，包含详细大纲、注册信息及联系方式。
- **MOOC 网站**：[Large Language Model Agents MOOC](https://llmagents-learning.org/f24)，提供额外的实验室、证书及互动社区，适合无法参加正式课程的学生。
- **讲座视频**：所有 12 场讲座均有 YouTube 录播，具体日程和链接如下表：

| 日期       | 主题                                               | 嘉宾讲师                            | 视频链接                                        |
|------------|----------------------------------------------------|-------------------------------------|-------------------------------------------------|
| 9月9日     | LLM 推理                                           | Denny Zhou, Google DeepMind         | [视频](https://www.youtube.com/live/QL-FS_Zcmyo) |
| 9月16日    | LLM 智能体：简史与概述                             | Shunyu Yao, OpenAI                  | [视频](https://www.youtube.com/watch?v=RM6ZArd2nVc) |
| 9月23日    | 智能体 AI 框架 & AutoGen, 构建多模态知识助手       | Chi Wang, AutoGen-AI; Jerry Liu, LlamaIndex | [视频](https://www.youtube.com/live/OOdtmCMSOo4) |
| 9月30日    | 生成式 AI 的企业趋势及构建成功智能体/应用的关键组件 | Burak Gokturk, Google               | [视频](https://www.youtube.com/live/Sy1psHS3w3I) |
| 10月7日    | 复合 AI 系统 & DSPy 框架                           | Omar Khattab, Databricks            | [视频](https://www.youtube.com/live/JEMYuzrKLUw) |
| 10月14日   | 软件开发智能体                                     | Graham Neubig, Carnegie Mellon University | [视频](https://www.youtube.com/live/f9L9Fkq-8K4) |
| 10月21日   | 企业工作流 AI 智能体                               | Nicolas Chapados, ServiceNow        | [视频](https://www.youtube.com/live/-yf-e-9FvOc) |
| 10月28日   | 神经与符号决策制定的统一框架                       | Yuandong Tian, Meta AI (FAIR)       | [视频](https://www.youtube.com/live/wm9-7VBpdEo) |
| 11月4日    | Project GR00T: 通用机器人蓝图                      | Jim Fan, NVIDIA                     | [视频](https://www.youtube.com/live/Qhxr0uVT2zs) |
| 11月18日   | 基础模型时代的开源与科学                           | Percy Liang, Stanford University    | [视频](https://www.youtube.com/live/f3KKx9LWntQ) |
| 11月25日   | 测量智能体能力与 Anthropic 的 RSP                  | Ben Mann, Anthropic                 | [视频](https://www.youtube.com/live/6y2AnWol7oo) |
| 12月2日    | 构建安全可信 AI 智能体及科学与证据为基础的 AI 政策 | Dawn Song, UC Berkeley              | [视频](https://www.youtube.com/live/QAgR4uQ15rc) |

每个讲座均有对应阅读材料，详情见课程网站 [CS294/194-196 课程主页](http://rdi.berkeley.edu/llm-agents/f24#syllabus)。

- **课程笔记**：[GitHub](https://github.com/rajdeepmondaldotcom/CS294_LLM_Agents_Notes_Fall2024)

## 经典相关论文与资源
课程重点讨论的论文和框架按技术方向分类如下：

### 推理与规划
- **ReAct**：结合推理与行动的框架，提升任务解决能力，论文：[ReAct: Synergizing Reasoning and Acting in Language Models](https://arxiv.org/abs/2210.03629)。
- **Chain-of-Thought**：通过中间步骤激发模型推理，论文：[Chain-of-Thought Prompting Elicits Reasoning in Large Language Models](https://arxiv.org/abs/2201.11903)。
- **Chain-of-Thought Reasoning Without Prompting**：探索无提示的思维链推理，论文：[Chain-of-Thought Reasoning Without Prompting](https://arxiv.org/abs/2402.10200)。

### 智能体框架
- **AutoGen**：支持多智能体对话的开发框架，论文：[AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation](https://arxiv.org/abs/2308.08155)。
- **DSPy**：面向复合 AI 系统的编程框架，论文：[DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines](https://arxiv.org/abs/2310.03714)。

### 应用场景
- **代码生成**：
  - **SWE-agent**：自动化软件工程的智能体接口，论文：[SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering](https://arxiv.org/abs/2402.01030)。
- **机器人技术**：
  - **Voyager**：基于 LLM 的开放式具身智能体，论文：[Voyager: An Open-Ended Embodied Agent with Large Language Models](https://arxiv.org/abs/2305.16291)。


## 扩展学习建议
为进一步深入学习，建议：
- **实践项目**：参与 [LLM Agents Hackathon](http://rdi.berkeley.edu/llm-agents-hackathon/)，尝试构建支持工具调用（如 Web 自动化）的智能体，Hackathon 提供应用、基准测试和基础研究等多个轨道。
- **进阶课程**：关注春季课程 [CS294/194-280 Advanced Large Language Model Agents](http://rdi.berkeley.edu/adv-llm-agents/sp25)，聚焦 LLM 推理、数学证明和代码生成等高级主题。
- **在线资源**：
  - [Large Language Model Agents MOOC](https://llmagents-learning.org/f24)：提供课程材料、实验室和证书，适合自学。
  - [Awesome LLM Agents](https://github.com/kaushikb11/awesome-llm-agents)：收集了大量关于 LLM 智能体的框架、论文和项目，适合深入研究。