第 1 课 · 初探强化学习
对应《动手学强化学习》第 1 章 · 约 25 分钟
1. 从"预测"到"决策"
人生充满选择，每次选择都是一次决策——决策会带来"后果"，决策者要为未来负责，在未来继续做决策。机器学习里有一类任务与此非常相似：序贯决策（sequential decision making）任务。实现序贯决策的机器学习方法，就是强化学习（reinforcement learning，RL）。
预测任务只产生一个针对输入的信号，希望它和未来观测一致——未来不会因此改变；而决策会真实地改变环境、改变未来。这是两类任务的本质区别。
2. 智能体与环境的交互
强化学习是机器通过与环境交互来实现目标的一种计算方法。一轮交互是：智能体（agent）在环境的一个状态下做动作决策 → 动作作用到环境 → 环境发生改变并反馈奖励和下一轮状态。交互迭代进行，目标是最大化多轮交互中累积奖励的期望。上图（对应书中图 1-1）中蓝色粒子代表动作流向环境，绿色粒子代表奖励和新状态流回智能体。
| 要素 | 含义 | 例子（下围棋） |
|---|---|---|
| 感知 | 在某种程度上感知环境状态 | 感知当前棋盘局面 |
| 决策 | 根据状态计算要采取的动作（策略是智能体智能形式的体现） | 决定下一颗落子位置 |
| 奖励 | 环境反馈的标量信号，衡量本轮动作好坏 | 博弈是否胜利 |
3. 环境：一个动态随机过程
环境是动态的，数学上用随机过程刻画。加入智能体的动作后，下一刻状态的分布由当前状态和动作共同决定：
每轮状态转移都伴随两重随机性：① 智能体决策动作的随机性；② 环境采样下一状态的随机性。在动态随机过程中学习与在固定数据分布下学习（有监督学习）是非常不同的——这句话是全章的题眼。
4. 目标：价值 = 回报的期望
每轮交互的奖励可以累加，形成回报（return）。即使环境、策略、初始状态都不变，交互产生的回报也很可能不同（因为随机性），所以我们关注回报的期望，并把它定义为价值（value）——这就是强化学习的优化目标。
有趣的是：强化学习和有监督学习的优化目标形式相似（都是优化某个分布下分数值的期望），但优化途径完全不同。
5. 数据：占用度量——全章最核心的概念
有监督学习的数据来自一个固定不变的数据分布；强化学习的数据是智能体与环境交互产生的——不采取某个动作，对应的数据就永远观测不到。
归一化的占用度量衡量：在智能体策略与动态环境的交互过程中，采样到某个状态-动作对 (s, a) 的概率分布。
关键性质：两个策略相同 ⟺ 它们的占用度量相同。策略一变，数据分布就变。
由此可以领悟强化学习本质的思维方式：
① 策略在训练中不断更新，对应的数据分布（占用度量）也随之改变——强化学习的一大难点就在于智能体看到的数据分布随学习而变；
② 奖励建立在状态-动作对之上，策略的价值 = 奖励在占用度量下的期望——寻找最优策略 ⟺ 寻找最优占用度量。
6. 一张表总结：有监督 vs 强化学习
| 有监督学习 | 强化学习 | |
|---|---|---|
| 任务 | 单轮预测 | 多轮序贯决策 |
| 数据分布 | 固定不变 | 随策略改变（占用度量） |
| 优化途径 | 修改模型（目标函数变、分布不变） | 改变策略从而改变数据分布（分布变、奖励函数不变） |
| 优化目标 | 最小化数据分布下损失的期望 | 最大化交互数据分布下奖励的期望 |
检查你的理解
练习与思考（书后思考）
① 用一句话向朋友解释"为什么强化学习比有监督学习难"（提示：数据分布随策略改变）。
② 举一个你生活中的序贯决策例子，指出其中的状态、动作、奖励分别是什么。
本课内容出自《动手学强化学习》（俞勇 等著）第 1 章。配套开源仓库与免费在线阅读：hrl.boyuai.com 第 1 章。
💡 有任何不清楚的地方，回到对话中向你的 AI 老师提问——它随时可以为你举例、推导或换个角度解释。