9.1 简介 #
之前介绍的 Q-learning、DQN 及 DQN 改进算法都是基于价值 (value-based) 的方法，其中 Q-learning 是处理有限状态的算法，而 DQN 可以用来解决连续状态的问题。在强化学习中，除了基于值函数的方法，还有一支非常经典的方法，那就是基于策略 (policy-based) 的方法。对比两者，$\color{red}基于值函数的方法主要是学习值函数$，然后根据值函数导出一个策略，学习过程中并不存在一个显式的策略；而 $\color{red}基于策略的方法则是直接显式地学习一个目标策略$。策略梯度是基于策略的方法的基础，本章从策略梯度算法说起。
9.2 策略梯度 #
基于策略的方法首先需要将策略参数化。假设目标策略 $\pi_\theta$ 是一个随机性策略，并且处处可微，其中 $\theta$ 是对应的参数。我们可以用一个线性模型或者神经网络模型来为这样一个策略函数建模，输入某个状态，然后$\color{red}输出一个动作的概率分布$。我们的目标是要寻找一个最优策略并最大化这个策略在环境中的期望回报。我们将策略学习的目标函数定义为
$$ J(\theta) = \mathbb{E}_{s_0}[V^{\pi_\theta}(s_0)] $$
其中，$s_0$ 表示初始状态。现在有了目标函数，我们将目标函数对策略 $\theta$ 求导，得到导数后，就可以用梯度上升方法来最大化这个目标函数，从而得到最优策略。
第 3 章讲解过策略 $\pi$ 下的状态访问分布，在此用 $\nu^\pi$ 表示。然后我们对目标函数求梯度，可以得到如下式子，更详细的推导过程将在 9.6 节给出。
$$ \begin{align*} \nabla_\theta J(\theta) &\propto \sum_{s\in\mathcal{S}}\nu^{\pi_\theta}(s)\sum_{a\in\mathcal{A}}Q^{\pi_\theta}(s,a)\nabla_\theta\pi_\theta(a|s) \\ &= \sum_{s\in\mathcal{S}}\nu^{\pi_\theta}(s)\sum_{a\in\mathcal{A}} \pi_\theta(a|s) Q^{\pi_\theta}(s,a)\cfrac{\nabla_\theta\pi_\theta(a|s)}{\pi_\theta(a|s)} \\ &= \mathbb{E}_{\pi_\theta}[Q^{\pi_\theta}(s,a) \nabla_\theta \log \pi_\theta(a|s)] \end{align*} $$
这个梯度可以用来更新策略。需要注意的是，因为上式中期望 $\mathbb{E}$ 的下标是 $\pi_\theta$，所以策略梯度算法为在线策略 (on-policy) 算法，即必须使用当前策略 $\pi_\theta$ 采样得到的数据来计算梯度。直观理解一下策略梯度这个公式，可以发现在每一个状态下，梯度的修改是让策略更多地去采样到带来较高 $Q$ 值的动作，更少地去采样到带来较低 $Q$ 值的动作，如图 9-1 所示。
在计算策略梯度的公式中，我们需要用到 $Q^{\pi_\theta}(s,a)$，可以用多种方式对它进行估计。接下来要介绍的 REINFORCE 算法便是采用了蒙特卡洛方法来估计 $Q^{\pi_\theta}(s,a)$，对于一个有限步数的环境来说，REINFORCE 算法中的策略梯度为：
$$ \nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\left[ \sum_{t=0}^T \left( \sum_{t^\prime = t}^T \gamma^{t^\prime - t} r_{t^\prime} \right) \nabla_\theta \log \pi_\theta(a_t|s_t) \right] $$
其中，$T$ 是和环境交互的最大步数。例如，在车杆环境中，$T=500$。
9.3 REINFORCE #
REINFORCE 算法的具体算法流程如下：
- 初始化策略参数 $\theta$
- for 序列 $e=1\rightarrow E$ do:
- 用当前策略 $\pi_\theta$ 采样轨迹 $\{ s_1, a_1, r_1, s_2, a_2, r_2, \cdots, s_T, a_T, r_T \}$
- 计算当前轨迹每个时刻 $t$ 往后的回报 $\sum_{t^\prime = t}^T \gamma^{t^\prime - t} r_{t^\prime}$，记为 $\psi_t$
- 对 $\theta$ 进行更新 $\theta = \theta + \alpha\sum_t^T \psi_t \nabla_\theta \log \pi_\theta(a_t|s_t)$，
- end for
这便是 REINFORCE 算法的全部流程了。接下来让我们来用代码来实现它，看看效果如何吧！
import torch
import rl_utils
import numpy as np
import gymnasium as gym
import matplotlib.pyplot as plt
import torch.nn.functional as F
from tqdm import tqdm
class PolicyNet(torch.nn.Module):
def __init__(self, state_dim, hidden_dim, action_dim):
super(PolicyNet, self).__init__()
self.fc1 = torch.nn.Linear(state_dim, hidden_dim)
self.fc2 = torch.nn.Linear(hidden_dim, action_dim)
def forward(self, x):
x = F.relu(self.fc1(x))
return F.softmax(self.fc2(x), dim=1)
class REINFORCE:
def __init__(self, state_dim, hidden_dim, action_dim, learning_rate, gamma,
device):
self.policy_net = PolicyNet(state_dim, hidden_dim,
action_dim).to(device)
self.optimizer = torch.optim.Adam(self.policy_net.parameters(),
lr=learning_rate) # 使用Adam优化器
self.gamma = gamma # 折扣因子
self.device = device
def take_action(self, state): # 根据动作概率分布随机采样
state = torch.tensor([state], dtype=torch.float).to(self.device)
probs = self.policy_net(state)
action_dist = torch.distributions.Categorical(probs)
action = action_dist.sample()
return action.item()
def update(self, transition_dict):
reward_list = transition_dict['rewards']
state_list = transition_dict['states']
action_list = transition_dict['actions']
G = 0
self.optimizer.zero_grad()
for i in reversed(range(len(reward_list))): # 从最后一步算起
reward = reward_list[i]
state = torch.tensor([state_list[i]],
dtype=torch.float).to(self.device)
action = torch.tensor([action_list[i]]).view(-1, 1).to(self.device)
log_prob = torch.log(self.policy_net(state).gather(1, action))
G = self.gamma * G + reward
loss = -log_prob * G # 每一步的损失函数
loss.backward() # 反向传播计算梯度
self.optimizer.step() # 梯度下降
learning_rate = 1e-3
num_episodes = 1000
hidden_dim = 128
gamma = 0.98
device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")
env_name = "CartPole-v1"
env = gym.make(env_name)
np.random.seed(0)
torch.manual_seed(0)
state_dim = env.observation_space.shape[0]
action_dim = env.action_space.n
agent = REINFORCE(state_dim, hidden_dim, action_dim, learning_rate, gamma, device)
return_list = []
for i in range(10):
with tqdm(total=int(num_episodes / 10), desc='Iteration %d' % i) as pbar:
for i_episode in range(int(num_episodes / 10)):
episode_return = 0
transition_dict = {
'states': [],
'actions': [],
'next_states': [],
'rewards': [],
'dones': []
}
state, _ = env.reset()
done = False
while not done:
action = agent.take_action(state)
next_state, reward, terminated, truncated, _ = env.step(action)
done = terminated or truncated
transition_dict['states'].append(state)
transition_dict['actions'].append(action)
transition_dict['next_states'].append(next_state)
transition_dict['rewards'].append(reward)
transition_dict['dones'].append(done)
state = next_state
episode_return += reward
return_list.append(episode_return)
agent.update(transition_dict)
if (i_episode + 1) % 10 == 0:
pbar.set_postfix({
'episode':
'%d' % (num_episodes / 10 * i + i_episode + 1),
'return':
'%.3f' % np.mean(return_list[-10:])
})
pbar.update(1)
episodes_list = list(range(len(return_list)))
plt.plot(episodes_list, return_list)
plt.xlabel('Episodes')
plt.ylabel('Returns')
plt.title('REINFORCE on {}'.format(env_name))
plt.show()
mv_return = rl_utils.moving_average(return_list, 9)
plt.plot(episodes_list, mv_return)
plt.xlabel('Episodes')
plt.ylabel('Returns')
plt.title('REINFORCE on {}'.format(env_name))
plt.show()
Iteration 0: 100%|█████████████████████████████████████████████| 100/100 [00:00<00:00, 316.94it/s, episode=100, return=29.600]
Iteration 1: 100%|█████████████████████████████████████████████| 100/100 [00:00<00:00, 201.38it/s, episode=200, return=68.600]
Iteration 2: 100%|█████████████████████████████████████████████| 100/100 [00:01<00:00, 94.22it/s, episode=300, return=127.000]
Iteration 3: 100%|█████████████████████████████████████████████| 100/100 [00:02<00:00, 41.04it/s, episode=400, return=330.700]
Iteration 4: 100%|█████████████████████████████████████████████| 100/100 [00:02<00:00, 34.37it/s, episode=500, return=140.200]
Iteration 5: 100%|█████████████████████████████████████████████| 100/100 [00:02<00:00, 34.89it/s, episode=600, return=386.600]
Iteration 6: 100%|█████████████████████████████████████████████| 100/100 [00:02<00:00, 40.15it/s, episode=700, return=169.200]
Iteration 7: 100%|█████████████████████████████████████████████| 100/100 [00:03<00:00, 30.36it/s, episode=800, return=422.600]
Iteration 8: 100%|█████████████████████████████████████████████| 100/100 [00:04<00:00, 23.72it/s, episode=900, return=379.800]
Iteration 9: 100%|████████████████████████████████████████████| 100/100 [00:04<00:00, 20.88it/s, episode=1000, return=500.000]
在 CartPole-v1 环境中，满分就是 500 分，我们发现 REINFORCE 算法效果很好，可以达到 500 分。接下来我们绘制训练过程中每一条轨迹的回报变化图。由于回报抖动比较大，往往会进行平滑处理。
可以看到，随着收集到的轨迹越来越多，REINFORCE 算法有效地学习到了最优策略。不过，相比于前面的 DQN 算法，REINFORCE 算法使用了更多的序列，这是因为 REINFORCE 算法是一个在线策略算法，之前收集到的轨迹数据不会被再次利用。此外，REINFORCE 算法的性能也有一定程度的波动，这主要是因为每条采样轨迹的回报值波动比较大，这也是 REINFORCE 算法主要的不足。
9.5 小结 #
REINFORCE 算法是策略梯度乃至强化学习的典型代表，智能体根据当前策略直接和环境交互，通过采样得到的轨迹数据直接计算出策略参数的梯度，进而更新当前策略，使其向最大化策略期望回报的目标靠近。这种学习方式是典型的从交互中学习，并且其优化的目标（即策略期望回报）正是最终所使用策略的性能，这比基于价值的强化学习算法的优化目标 (一般是时序差分误差的最小化) 要更加直接。REINFORCE 算法理论上是能保证局部最优的，它实际上是借助蒙特卡洛方法采样轨迹来估计动作价值，这种做法的一大优点是可以得到无偏的梯度。但是，正是因为使用了蒙特卡洛方法，REINFORCE 算法的梯度估计的方差很大，可能会造成一定程度上的不稳定，这也是第 10 章将介绍的 Actor-Critic 算法要解决的问题。
9.6 扩展阅读：策略梯度证明 #
策略梯度定理是强化学习中的重要理论。本节我们来证明
$$ \nabla_\theta J(\theta) \propto \sum_{s\in\mathcal{S}}\nu^{\pi_\theta}(s)\sum_{a\in\mathcal{A}}Q^{\pi_\theta}(s,a)\nabla_\theta\pi_\theta(a|s) $$
先从状态价值函数的推导开始：
$$ \begin{align*} \nabla_\theta V^{\pi_\theta} (s) &= \nabla_\theta \left( \sum_{a\in\mathcal{A}} \pi_\theta(a|s) Q^{\pi_\theta}(s,a)\right) \\ &= \sum_{a\in\mathcal{A}} \Big( \nabla_\theta \pi_\theta(a|s) Q^{\pi_\theta}(s,a) + \pi_\theta(a|s) \nabla_\theta Q^{\pi_\theta}(s,a) \Big) \\ &= \sum_{a\in\mathcal{A}}\left( \nabla_\theta \pi_\theta(a|s) Q^{\pi_\theta}(s,a) + \pi_\theta(a|s) \nabla_\theta \sum_{s^\prime, r} p(s^\prime, r|s,a) (r + \gamma V^{\pi_\theta}(s^\prime)) \right) \\ &= \sum_{a\in\mathcal{A}}\left( \nabla_\theta \pi_\theta(a|s) Q^{\pi_\theta}(s,a) + \gamma \pi_\theta(a|s) \sum_{s^\prime, r} p(s^\prime, r|s,a) \nabla_\theta V^{\pi_\theta}(s^\prime) \right) \\ &= \sum_{a\in\mathcal{A}}\left( \nabla_\theta \pi_\theta(a|s) Q^{\pi_\theta}(s,a) + \gamma \pi_\theta(a|s) \sum_{s^\prime} p(s^\prime|s,a) \nabla_\theta V^{\pi_\theta}(s^\prime) \right) \\ \end{align*} $$
为了简化表示，我们让 $\phi(s) = \sum_{a\in\mathcal{A}} \nabla_\theta \pi_\theta(a|s) Q^{\pi_\theta}(s,a)$, 定义 $d^{\pi_\theta}(s\rightarrow x, k)$ 为策略 $\pi$ 从状态 $s$ 出发 $k$ 步后到达状态 $x$ 的概率。我们继续推导：
$$ \begin{align*} \nabla_\theta V^{\pi_\theta} (s) &= \phi(s) + \gamma \sum_{a}\pi_\theta(a|s) \sum_{s^\prime} p(s^\prime|s,a) \nabla_\theta V^{\pi_\theta}(s^\prime) \\ &= \phi(s) + \gamma \sum_{a} \sum_{s^\prime} \pi_\theta(a|s) p(s^\prime|s,a) \nabla_\theta V^{\pi_\theta}(s^\prime) \\ &= \phi(s) + \gamma \sum_{s^\prime} d^{\pi_\theta}(s\rightarrow s^\prime, 1) \nabla_\theta V^{\pi_\theta}(s^\prime) \\ &= \phi(s) + \gamma \sum_{s^\prime} d^{\pi_\theta}(s\rightarrow s^\prime, 1) \left[ \phi(s^\prime) + \gamma \sum_{s^{\prime\prime}} d^{\pi_\theta}(s^\prime \rightarrow s^{\prime\prime}, 1) \nabla_\theta V^{\pi_\theta}(s^{\prime\prime}) \right] \\ &= \phi(s) + \gamma \sum_{s^\prime} d^{\pi_\theta}(s\rightarrow s^\prime, 1)\phi(s^\prime) + \gamma^2 \sum_{s^{\prime\prime}} d^{\pi_\theta}(s \rightarrow s^{\prime\prime}, 2) \nabla_\theta V^{\pi_\theta}(s^{\prime\prime}) \\ &= \phi(s) + \gamma \sum_{s^\prime} d^{\pi_\theta}(s\rightarrow s^\prime, 1)\phi(s^\prime) + \gamma^2 \sum_{s^{\prime\prime}} d^{\pi_\theta}(s \rightarrow s^{\prime\prime}, 2) \phi(s^{\prime\prime}) + \gamma^3 \sum_{s^{\prime\prime\prime}} d^{\pi_\theta}(s \rightarrow s^{\prime\prime\prime}, 3) \nabla_\theta V^{\pi_\theta}(s^{\prime\prime\prime}) \\ &= \cdots \\ &= \sum_{x\in\mathcal{S}} \sum_{k=0}^\infty \gamma^k d^{\pi_\theta}(s \rightarrow x, k)\phi(x)\\ \end{align*} $$
定义 $\eta(s) = \mathbb{E}_{s_0}\left[ \sum_{k=0}^\infty \gamma^k d^{\pi_\theta}(s_0 \rightarrow s, k) \right]$。至此，回到目标函数：
$$ \begin{align*} \nabla_\theta J(\theta) &= \nabla_\theta \mathbb{E}_{s_0}[V^{\pi_\theta}(s_0)] \\ &= \sum_s \mathbb{E}_{s_0}\left[ \sum_{k=0}^\infty \gamma^k d^{\pi_\theta}(s_0 \rightarrow s, k) \right] \phi(s) \\ &= \sum_s \eta(s) \phi(s) \\ &= \left( \sum_s \eta(s) \right) \sum_s \cfrac{\eta(s)}{\sum_s \eta(s)} \phi(s) \\ &\propto \sum_s \cfrac{\eta(s)}{\sum_s \eta(s)} \phi(s) \\ &= \sum_s \nu^{\pi_\theta}(s) \sum_{a} \nabla_\theta \pi_\theta(a|s) Q^{\pi_\theta}(s,a) \end{align*} $$
证明完毕！