机器学习之策略梯度

目录

1. 引言
2. 强化学习基础
3. 策略梯度理论基础
4. REINFORCE算法
5. Actor-Critic方法
6. 优势函数与基线
7. 常见策略梯度算法
8. 实践技巧与优化
9. 应用场景
10. 总结

---

引言

策略梯度（Policy Gradient）方法是强化学习中的一类重要算法，其核心思想是直接对策略参数进行优化，而不是通过值函数间接优化策略。与基于值的方法（如Q-Learning、DQN）不同，策略梯度方法可以直接处理连续动作空间，并且能够学习随机策略。

策略梯度方法的理论基础源于统计学中的梯度上升算法，通过采样轨迹来估计策略梯度的期望，然后沿着梯度方向更新策略参数。

---

强化学习基础

马尔可夫决策过程 (MDP)

强化学习问题通常被建模为马尔可夫决策过程（Markov Decision Process, MDP），由五元组 $(S,A,P,R,\gamma )$ 定义：

• $S$：状态空间
• $A$：动作空间
• $P(s^{\prime }|s,a)$：状态转移概率
• $R(s,a)$：奖励函数
• $\gamma \in [0,1]$：折扣因子

策略

策略 ${\pi }_{\theta }(a|s)$ 是一个从状态到动作概率分布的映射，其中 $\theta$ 是策略参数：

$${\pi }_{\theta }(a|s)=P(A=a|S=s,\theta )$$

对于确定性策略，${\pi }_{\theta }(s)$ 直接输出动作；对于随机策略，输出动作的概率分布。

目标函数

强化学习的目标是找到一个策略，使得累积期望回报最大化：

$$J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[R(\tau )]={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^T{\gamma }^t{r}_t\right]$$

其中 $\tau =(s_0,a_0,r_0,s_1,a_1,r_1,\dots ,s_T)$ 是一条轨迹。

---

策略梯度理论基础

策略梯度定理

策略梯度定理给出了目标函数关于策略参数的梯度：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot R(\tau )\right]$$

这个定理表明，我们可以通过采样轨迹来估计策略梯度。

证明思路

目标函数可以重写为：

$$J(\theta )=\sum _{\tau }P(\tau |\theta )R(\tau )$$

其中 $P(\tau |\theta )$ 是轨迹 $\tau$ 的概率：

$$P(\tau |\theta )=P(s_0)\prod _{t=0}^{T-1}{\pi }_{\theta }(a_t|s_t)P(s_{t+1}|s_t,a_t)$$

对目标函数求梯度：

$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\sum _{\tau }{\nabla }_{\theta }P(\tau |\theta )R(\tau )\\ & =\sum _{\tau }P(\tau |\theta )\frac{{\nabla }_{\theta }P(\tau |\theta )}{P(\tau |\theta )}R(\tau )\\ & =\sum _{\tau }P(\tau |\theta ){\nabla }_{\theta }\log P(\tau |\theta )R(\tau )\\ & ={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[{\nabla }_{\theta }\log P(\tau |\theta )R(\tau )\right]\end{array}$$

由于 $\log P(\tau |\theta )=\log P(s_0)+{\sum }_{t=0}^{T-1}\left[\log {\pi }_{\theta }(a_t|s_t)+\log P(s_{t+1}|s_t,a_t)\right]$，只有策略项与 $\theta$ 相关：

$${\nabla }_{\theta }\log P(\tau |\theta )=\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)$$

因此：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)R(\tau )\right]$$

优势函数

为了降低方差，可以使用优势函数（Advantage Function）替代总回报：

$$A^{\pi }(s_t,a_t)=Q^{\pi }(s_t,a_t)-V^{\pi }(s_t)$$

其中 $Q^{\pi }(s_t,a_t)$ 是动作值函数，$V^{\pi }(s_t)$ 是状态值函数。

使用优势函数的策略梯度：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)A^{\pi }(s_t,a_t)\right]$$

---

REINFORCE算法

REINFORCE（蒙特卡洛策略梯度）是最简单的策略梯度算法，由Williams于1992年提出。

算法流程

初始化策略参数 $\theta$

对于每个回合：

    1. 按照策略 ${\pi }_{\theta }$ 采样一条完整轨迹 $\tau$

    2. 计算每个时间步的回报 $G_t={\sum }_{k=t}^T{\gamma }^{k-t}{r}_k$

    3. 对于每个时间步 $t$：

        计算梯度：${\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot G_t$

    4. 更新策略参数：$\theta \leftarrow \theta +\alpha \cdot {\sum }_t{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot G_t$

数学表达

参数更新规则：

$$\theta \leftarrow \theta +\alpha \sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)G_t$$

其中 $\alpha$ 是学习率，$G_t$ 是从时间步 $t$ 开始的折扣累积回报：

$$G_t=\sum _{k=t}^T{\gamma }^{k-t}{r}_k$$

特点

优点：

• 理论基础扎实，收敛性有保证
• 可以直接处理连续动作空间
• 能够学习随机策略

缺点：

• 方差大，需要大量样本
• 只能在回合结束时更新，效率低
• 对超参数敏感

---

Actor-Critic方法

Actor-Critic方法通过引入价值函数作为Critic来估计优势函数，从而降低方差。

架构

• Actor（演员）：策略网络 ${\pi }_{\theta }(a|s)$，负责选择动作
• Critic（评论家）：价值网络 $V_{\varphi }(s)$ 或 $Q_{\varphi }(s,a)$，负责评估状态或动作的价值

算法流程

初始化Actor参数 $\theta$ 和 Critic参数 $\varphi$

对于每个回合：

    对于每个时间步 $t$：

        1. 按照策略 ${\pi }_{\theta }$ 选择动作 $a_t$，执行并观察 $r_t,s_{t+1}$

        2. 计算TD误差：${\delta }_t=r_t+\gamma V_{\varphi }(s_{t+1})-V_{\varphi }(s_t)$

        3. 更新Critic：$\varphi \leftarrow \varphi +\beta \cdot {\delta }_t\cdot {\nabla }_{\varphi }{V}_{\varphi }(s_t)$

        4. 更新Actor：$\theta \leftarrow \theta +\alpha \cdot {\delta }_t\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)$

数学表达

Critic更新（价值函数）：

$$\varphi \leftarrow \varphi +\beta {\delta }_t{\nabla }_{\varphi }{V}_{\varphi }(s_t)$$

其中TD误差（Temporal Difference Error）为：

$${\delta }_t=r_t+\gamma V_{\varphi }(s_{t+1})-V_{\varphi }(s_t)$$

Actor更新（策略）：

$$\theta \leftarrow \theta +\alpha {\delta }_t{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)$$

特点

优点：

• 方差比REINFORCE小
• 可以在线学习，不需要完整回合
• 结合了策略梯度和值函数的优点

缺点：

• 需要同时优化两个网络
• 可能存在训练不稳定问题

---

优势函数与基线

基线的作用

引入基线 $b(s_t)$ 可以在不改变期望的情况下降低方差：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)(R(\tau )-b(s_t))\right]$$

证明：

$$\begin{array}{rl}{\mathbb{E}}_{a_t\sim {\pi }_{\theta }(\cdot |s_t)}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)b(s_t)\right]& =\sum _{a_t}{\pi }_{\theta }(a_t|s_t){\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)b(s_t)\\ & =\sum _{a_t}{\pi }_{\theta }(a_t|s_t)\frac{{\nabla }_{\theta }{\pi }_{\theta }(a_t|s_t)}{{\pi }_{\theta }(a_t|s_t)}b(s_t)\\ & =\sum _{a_t}{\nabla }_{\theta }{\pi }_{\theta }(a_t|s_t)b(s_t)\\ & =b(s_t){\nabla }_{\theta }\sum _{a_t}{\pi }_{\theta }(a_t|s_t)\\ & =b(s_t){\nabla }_{\theta }1\\ & =0\end{array}$$

因此，加入基线不会改变梯度的期望，但可以降低方差。

常用基线

1. 状态值函数基线：$b(s_t)=V^{\pi }(s_t)$

   • 这时 $R(\tau )-b(s_t)$ 就是优势函数 $A^{\pi }(s_t,a_t)$

2. 平均回报基线：$b(s_t)=\frac{1}{N}{\sum }_{i=1}^{N}R({\tau }_i)$

   • 使用多个轨迹的平均回报作为基线

3. 移动平均基线：使用历史回报的移动平均

广义优势估计 (GAE)

广义优势估计（Generalized Advantage Estimation, GAE）是一种平衡偏差和方差的方法：

$${\hat{A}}_t^{GAE(\gamma ,\lambda )}=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}$$

其中 ${\delta }_t=r_t+\gamma V_{\varphi }(s_{t+1})-V_{\varphi }(s_t)$ 是TD误差，$\lambda \in [0,1]$ 是权衡参数。

• $\lambda =0$：相当于TD(0)，偏差大、方差小
• $\lambda =1$：相当于蒙特卡洛，无偏、方差大
• $0<\lambda <1$：在偏差和方差之间取得平衡

---

常见策略梯度算法

1. Vanilla Policy Gradient (VPG)

也称为REINFORCE，是最基础的策略梯度算法。

2. Trust Region Policy Optimization (TRPO)

TRPO通过约束策略更新的幅度来保证单调改进。

核心思想：

最大化目标函数：

$$L(\theta )={\mathbb{E}}_{s\sim {\rho }_{{\theta }_{old}},a\sim {\pi }_{{\theta }_{old}}}\left[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}{A}_{{\theta }_{old}}(s,a)\right]$$

受约束于：

$${\bar{D}}_{KL}({\theta }_{old}||\theta )\le \delta$$

其中 ${\bar{D}}_{KL}$ 是平均KL散度。

3. Proximal Policy Optimization (PPO)

PPO是对TRPO的简化，更容易实现且性能相当。

Clipped Objective：

$$L^{CLIP}(\theta )={\mathbb{E}}_t\left[\min \left(r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t\right)\right]$$

其中：

• $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}$ 是概率比率
• $ϵ$ 是裁剪参数（通常取0.1或0.2）
• ${\hat{A}}_t$ 是估计的优势函数

4. Actor-Critic with Eligibility Traces (A2C/A3C)

• A2C (Advantage Actor-Critic)：同步的Actor-Critic算法
• A3C (Asynchronous Advantage Actor-Critic)：异步的Actor-Critic算法，使用多个并行智能体

5. Soft Actor-Critic (SAC)

SAC是一种最大熵强化学习算法，在优化期望回报的同时最大化策略的熵。

目标函数：

$$J(\pi )=\sum _{t=0}^T{\mathbb{E}}_{(s_t,a_t)\sim {\rho }_{\pi }}\left[r(s_t,a_t)+\alpha \mathcal{H}(\pi (\cdot |s_t))\right]$$

其中 $\alpha$ 是温度参数，$\mathcal{H}$ 是熵。

---

实践技巧与优化

1. 策略网络设计

策略网络通常输出动作的概率分布：

• 离散动作空间：使用Softmax输出
• 连续动作空间：输出高斯分布的均值和方差

高斯策略：

$${\pi }_{\theta }(a|s)=\mathcal{N}(a;{\mu }_{\theta }(s),{\sigma }_{\theta }^2(s))$$

对数概率：

$$\log {\pi }_{\theta }(a|s)=-\frac{1}{2}\left[\frac{(a-{\mu }_{\theta }(s){)}^2}{{\sigma }_{\theta }^2(s)}+2\log {\sigma }_{\theta }(s)+\log (2\pi )\right]$$

2. 熵正则化

为了防止策略过早收敛到确定性策略，可以加入熵正则化项：

$$J_{reg}(\theta )=J(\theta )+\alpha {\mathbb{E}}_{s\sim {\rho }_{\pi }}[\mathcal{H}({\pi }_{\theta }(\cdot |s))]$$

熵的计算：

• 离散动作空间：$\mathcal{H}(\pi (\cdot |s))=-{\sum }_a\pi (a|s)\log \pi (a|s)$
• 连续动作空间：$\mathcal{H}(\pi (\cdot |s))=\frac{1}{2}\log (2\pi e{\sigma }^2)$

3. 学习率调度

使用学习率衰减可以提高训练稳定性：

• 线性衰减
• 指数衰减
• 余弦退火

4. 经验回放

虽然策略梯度通常使用在线学习，但某些变体可以使用经验回放：

• Off-policy算法（如SAC、DDPG）
• 使用重要性采样修正分布偏移

5. 归一化

对输入和优势函数进行归一化：

• 输入归一化：对状态进行标准化
• 优势函数归一化：${\hat{A}}_t\leftarrow \frac{{\hat{A}}_t-\mu }{\sigma +ϵ}$

6. 梯度裁剪

防止梯度爆炸：

$${\nabla }_{\theta }\leftarrow \text{clip}({\nabla }_{\theta },-c,c)$$

7. 多步回报

使用n-step回报平衡偏差和方差：

$$G_t^{(n)}=\sum _{k=0}^{n-1}{\gamma }^k{r}_{t+k}+{\gamma }^n{V}_{\varphi }(s_{t+n})$$

---

应用场景

1. 机器人控制

策略梯度方法在连续控制任务中表现优异：

• 机械臂控制
• 步行机器人
• 无人机飞行

2. 游戏AI

• Atari游戏
• 围棋（AlphaGo结合了策略梯度和蒙特卡洛树搜索）
• 实时策略游戏

3. 自动驾驶

• 路径规划
• 决策制定
• 车辆控制

4. 资源调度

• 云计算资源分配
• 网络流量调度
• 能源管理

5. 金融交易

• 投资组合优化
• 算法交易
• 风险管理

---

总结

策略梯度方法是强化学习中的重要技术，具有以下特点：

核心优势

1. 直接优化策略：不需要显式地学习值函数
2. 处理连续动作：天然适用于连续动作空间
3. 学习随机策略：可以输出概率分布，适用于需要探索的场景

主要挑战

1. 高方差：需要大量样本才能获得稳定估计
2. 样本效率低：相比基于值的方法，需要更多交互
3. 训练不稳定：对超参数敏感，需要仔细调优

策略梯度方法作为强化学习的重要组成部分，在理论和实践上都有重要价值。随着算法的不断改进和计算能力的提升，策略梯度方法将在更多领域发挥重要作用。