术语速查表
第 1–3 章核心术语 · 建议打印或收藏，复习时使用
基础概念（第 1 章）
| 术语 | 含义 |
|---|---|
| 序贯决策 | 多轮决策任务，决策带来后果并影响未来；强化学习所解决的问题类 |
| 智能体（agent） | 做决策的机器，具备感知、决策、奖励三要素中的感知与决策 |
| 回报（return） | 整个交互过程各轮奖励的累加（如一局游戏的总分） |
| 价值（value） | 回报的期望，强化学习的优化目标 |
| 占用度量（occupancy measure） | 策略与环境交互中采样到状态-动作对 (s,a) 的归一化概率分布；占用度量相同 ⟺ 策略相同 |
多臂老虎机（第 2 章）
| 术语 | 含义 |
|---|---|
| 多臂老虎机（MAB） | ⟨A, R⟩：K 根拉杆各有未知奖励分布，无状态的简化强化学习 |
| 懊悔 / 累积懊悔 | R(a)=Q*−Q(a)（一拉的期望损失）；T 步懊悔之和，评价算法的核心指标 |
| 探索 vs 利用 | 尝试更多拉杆获取信息 vs 拉当前估值最高的拉杆获取奖励 |
| ε-贪婪 | 以 ε 概率随机探索、1−ε 概率利用；固定 ε 懊悔线性增长，ε=1/t 衰减则次线性 |
| 上置信界（UCB） | 选 Q̂(a)+c·√(log t / 2(N(a)+1)) 最大的拉杆，不确定性越高越值得探索 |
| 汤普森采样 | 为每杆维护 Beta(m₁+1, m₂+1) 分布，采样后选最大者 |
| 增量式更新 | Qk = Qk−1 + (1/k)(rk−Qk−1)，O(1) 复杂度 |
马尔可夫决策过程（第 3 章）
| 术语 | 含义 |
|---|---|
| 马尔可夫性质 | P(St+1|St) = P(St+1|S1..t)，当前状态是充分统计量 |
| 马尔可夫过程（MP） | ⟨S, P⟩，P 为行和为 1 的状态转移矩阵 |
| 马尔可夫奖励过程（MRP） | ⟨S, P, r, γ⟩，MP 加奖励函数与折扣因子 |
| 折扣因子 γ | [0,1)，对未来奖励打折；接近 1 重长远，接近 0 重眼前 |
| 贝尔曼方程 | V(s) = r(s) + γΣs'P(s'|s)V(s')；解析解 V=(I−γP)−1R |
| MDP | ⟨S, A, P, r, γ⟩，转移与奖励均依赖动作 |
| 策略 π(a|s) | 状态 s 下选动作 a 的概率分布 |
| Vπ(s) / Qπ(s,a) | 状态价值 / 动作价值；Vπ(s)=Σaπ(a|s)Qπ(s,a) |
| 贝尔曼最优方程 | V*(s)=maxa{r(s,a)+γΣP(s'|s,a)V*(s')}，求解得最优策略 |
| 蒙特卡洛方法 | 采样多条序列，用回报均值估计价值，无需环境模型 |
动态规划（第 4 章）
| 术语 | 含义 |
|---|---|
| 动态规划（DP） | 分解为子问题求解；RL 中指已知 P、r 的白盒环境下用贝尔曼方程迭代求解最优策略 |
| 策略评估 | 迭代贝尔曼期望方程求 Vπ，max|ΔV|<θ 时停止 |
| 策略提升 | 每状态贪心取 argmax Q；策略提升定理保证 Vπ′≥Vπ |
| 策略迭代 | 评估 ⇄ 提升交替直至策略不变，得 π*（悬崖漫步 5 轮循环） |
| 价值迭代 | 直接迭代贝尔曼最优方程 Vk+1=maxa{r+γΣPVk}，收敛后恢复策略（悬崖漫步 14 轮） |
| 压缩算子 | ‖TV−TV′‖≤γ‖V−V′‖，γ<1 保证价值迭代收敛 |
| 悬崖漫步 | 4×12 网格，走一步 −1、掉崖 −100，最优回报 −13 |