第 3 课 · 马尔可夫决策过程

对应《动手学强化学习》第 3 章 · 约 40 分钟（含动手实验）

本课目标 MDP 是强化学习环境的数学模型。本课沿"马尔可夫过程 → 马尔可夫奖励过程 → 马尔可夫决策过程"的阶梯，掌握：马尔可夫性质、回报与折扣因子、价值函数与贝尔曼方程、策略、占用度量、最优策略与贝尔曼最优方程，并用浏览器实验验证解析解与蒙特卡洛估计。

1. 马尔可夫过程（MP）

随机过程研究随时间演变的随机现象。若某时刻的状态只取决于上一时刻的状态，则称该过程具有马尔可夫性质：

P(S_t+1 | S_t) = P(S_t+1 | S₁, …, S_t)

当前状态是未来的充分统计量——历史信息通过链式关系浓缩在当前状态里，这大大简化了运算。具有马尔可夫性质的随机过程即马尔可夫过程（马尔可夫链），用元组 ⟨S, P⟩ 描述，P 是状态转移矩阵（每行和为 1）。从某状态按 P 采样出状态序列的过程叫采样。

2. 马尔可夫奖励过程（MRP）

MP 加入奖励函数 r 和折扣因子 γ，得 MRP ⟨S, P, r, γ⟩：

r(s)：转移到状态 s 时获得的奖励的期望；
γ ∈ [0,1)：远期利益有不确定性，需要打折。γ→1 关注长期，γ→0 只看眼前。

回报（return）

G_t = R_t + γR_t+1 + γ²R_t+2 + … = Σ_k=0..∞ γ^k R_t+k

书中例子（图 3-2，γ=0.5）：序列 s₁→s₂→s₃→s₆，奖励依次 −1、−2、−2、0，则 G₁ = −1 + 0.5×(−2) + 0.25×(−2) = −2.5。

🎬 看一条序列如何"走"出来

粒子每一步都按状态转移概率随机选下一站（s₁ 有 90% 原地不动、10% 去 s₂……），到达终止状态 s₆ 后停止。注意观察：即使一次次从相同状态出发，走出的序列也不同——这正是"回报是随机变量、需要取期望"的原因。

价值函数与贝尔曼方程

状态的价值 = 该状态的期望回报：V(s) = E[G_t | S_t=s]。展开推导可得著名的贝尔曼方程：

V(s) = r(s) + γ Σ_s'∈S P(s'|s) V(s')

矩阵形式 V = R + γPV，有解析解 V = (I − γP)⁻¹ R，复杂度 O(n³)，只适用于小规模 MRP。大规模要用动态规划、蒙特卡洛、时序差分（后续章节）。

3. 🧪 动手实验：MRP 价值函数探索器

下面是书中图 3-1/3-2 的 6 状态 MRP（s₆ 为终止状态；进入 s₄ 得最高奖励 10）。拖动滑块改变 γ，观察各状态价值的解析解如何变化；再点蒙特卡洛按钮，用采样估计验证贝尔曼方程的解。

观察要点

γ 变大 → s₄、s₃ 的价值显著升高（长期奖励权重变大）；γ 很小时各状态价值趋近即时奖励 r(s)；
书中解析解（γ=0.5）：V ≈ [−2.02, −2.21, 1.16, 10.54, 3.59, 0]；
蒙特卡洛估计与解析解误差很小——大数定律：N(s)→∞ 时 V(s)→V^π(s)。且 MC 方法不需要知道 P 和 r。

4. 马尔可夫决策过程（MDP）

MRP 是自发演变的随机过程；加入外界的"刺激"——智能体的动作——就是 MDP，用元组 ⟨S, A, P, r, γ⟩ 描述。与 MRP 的区别：状态转移和奖励都多了动作作为自变量：P(s'|s,a)、r(s,a)。

策略与两个价值函数

策略 π(a|s) = P(A_t=a | S_t=s)：在状态 s 下采取动作 a 的概率（确定性策略 / 随机性策略）。由于马尔可夫性质，策略只与当前状态有关。给定策略后可定义：

V^π(s) = E_π[G_t | S_t=s]　（状态价值函数）

Q^π(s,a) = E_π[G_t | S_t=s, A_t=a]　（动作价值函数）

两者的联系：

V^π(s) = Σ_a π(a|s) Q^π(s,a)；　Q^π(s,a) = r(s,a) + γ Σ_s' P(s'|s,a) V^π(s')

贝尔曼期望方程

V^π(s) = Σ_a π(a|s) [ r(s,a) + γ Σ_s' P(s'|s,a) V^π(s') ]

Q^π(s,a) = r(s,a) + γ Σ_s' P(s'|s,a) Σ_a' π(a'|s') Q^π(s',a')

给定策略求价值：MDP → MRP

将策略的动作选择边缘化，MDP 就退化为 MRP：r′(s) = Σ_a π(a|s) r(s,a)，P′(s'|s) = Σ_a π(a|s) P(s'|s,a)。书中例子（图 3-4 的 MDP + 随机策略，γ=0.5）用解析解算得 V ≈ [−1.23, −1.68, 0.52, 6.08, 0]，与 1000 条序列的蒙特卡洛估计非常接近。

5. 蒙特卡洛方法估计价值

用策略 π 采样很多条序列，对每个状态维护计数器 N(s) 和总回报 M(s)，估计 V(s) = M(s)/N(s)（或用第 2 章的增量式更新：V(s) ← V(s) + (1/N(s))(G − V(s))）。它不需要知道环境模型，采样越多越准确——上面的实验已经验证了这一点。

6. 占用度量与最优策略

状态访问分布 ν^π(s) = (1−γ) Σ_t γ^t P_t^π(s)；占用度量 ρ^π(s,a) = ν^π(s) π(a|s)。两个定理：占用度量相同 ⟺ 策略相同；由合法占用度量可反推唯一策略。这呼应第 1 章：找最优策略 ⟺ 找最优占用度量。

最优策略 π* 不差于任何其他策略；最优价值函数 V*(s) = max_π V^π(s)，Q*(s,a) = max_π Q^π(s,a)，满足贝尔曼最优方程：

V*(s) = max_a { r(s,a) + γ Σ_s' P(s'|s,a) V*(s') }

Q*(s,a) = r(s,a) + γ Σ_s' P(s'|s,a) max_a' Q*(s',a')

第 4 章的动态规划算法将展示如何求解贝尔曼最优方程得到最优策略。

检查你的理解

1. 马尔可夫性质的含义是？

2. γ 取值接近 1 意味着什么？

3. MRP 贝尔曼方程解析解的矩阵形式是？

4. 蒙特卡洛方法估计价值的最大优点是？

5. V^π(s) 与 Q^π(s,a) 的关系是？

练习（书后习题方向）

① 手算验证：γ=0.5 时 V(s₄) ≈ 10 + 0.5×(0.7×0 + 0.3×3.59) ≈ 10.54（贝尔曼方程自检）。

② 思考：为什么占用度量相同 ⟺ 策略相同？若两个策略只在从未到达的状态上不同，结论还成立吗？

推荐的原始资源

《动手学强化学习》第 3 章与完整代码：hrl.boyuai.com 第 3 章。想深入可配合 Sutton & Barto 第 3 章。

💡 学完三课别忘了用术语表复习；有疑问随时回对话问你的 AI 老师。

← 返回课程目录