【强化学习】随机策略梯度强化学习-TRPO置信域策略优化推导分析《Trust Region Policy Optimization》

一、TRPO优化目标公式建立

根据策略梯度方法，很难选择步长使参数更新向着策略变好的方向变化，如果步长不合适，可能导致越学越差致使系统崩溃。
如何选择一个合适的步长，或者说，如何找到新的策略使新的回报函数的值单调递增，或单调不减。这是TRPO解决的问题。
强化学习的回报函数定义为：
$$\eta (\tilde{\pi })=E_{\tilde{\pi }}[\sum _{t=0}^{\infty }{\gamma }^t(r(s_t))]$$
将新策略的回报函数拆分为，[旧策略回报函数+其他项]的方式，如果其他项>=0则，新的回报函数单调不减。如下所示
$$\eta (\tilde{\pi })=\eta (\pi )+E_{s_0,a_0,\tilde{\pi }}[\sum _{t=0}^{\infty }{\gamma }^t{A}_{\pi }(s_t,a_t)](1)$$
用$\pi$表示旧策略，$\tilde{\pi }$表示新策略
$$\begin{array}{rl}{A}_{\pi }(s,a)& =Q_{\pi }(s,a)-V_{\pi }(s)\\ & =E_{s^{\prime }\sim P(s^{\prime }|s,a)}[r(s)+\gamma V_{\pi }(s^{\prime })-V_{\pi }(s)]\end{array}$$
给出(1)的证明：
$$\begin{array}{rl}{E}_{\tilde{\pi }}[\sum _{t=0}^{\infty }{\gamma }^t{A}_{\pi }(s_t,a_t)]& =E_{\tilde{\pi }}[\sum _{t=0}^{\infty }{\gamma }^t(r(s_t)+\gamma V_{\pi }(s_{t+1})-V_{\pi }(s_t))]\\ & =E_{\tilde{\pi }}[\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t)]+E_{\tilde{\pi }}[\sum _{t=0}^{\infty }{\gamma }^t(\gamma V_{\pi }(s_{t+1})-V_{\pi }(s_t))]\\ & =E_{\tilde{\pi }}[\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t)]+E_{\tilde{\pi }}[-V_{\pi }(s_0)]\\ & =\eta (\tilde{\pi })-\eta (\pi )\end{array}$$
将(1)展开
$$\begin{array}{rl}\eta (\tilde{\pi })& =\eta (\pi )+\sum _t^{\infty }\sum _{s}P(s_t=s|\tilde{\pi })\sum _a\tilde{\pi }(a|s){\gamma }^t{A}_{\pi }(s,a)\\ & =\eta (\pi )+\sum _s{\rho }_{\tilde{\pi }(s)}\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)(2)\end{array}$$
其中${\rho }_{\tilde{\pi }}(s)={\sum }_{t=0}^{\infty }{\gamma }^{t}P(s_t=s|\tilde{\pi })$

技巧一

引入TRPO的第一个技巧对状态分布进行处理，我们忽略状态分布的变化，依然采用旧的策略所对应的状态分布。这个技巧是对原代价函数的一次近似。其实，当新旧参数很接近的时候，我们将用旧的状态分布替代新的状态分布是合理的。此时，原来的代价函数近似为：
$$\eta (\tilde{\pi })=\eta (\pi )+\sum _s{\rho }_{\pi }(s)\sum _a\tilde{\pi }(a|s)A_{\pi }(s_t,a_t)(3)$$
式(3)中，第二项策略部分，这时的动作是由新策略$\tilde{\pi }$产生的，可新策略是带参数$\theta$的，这个参数的是未知的，无法用来产生动作。此时引入TRPO的第二个技巧。

技巧二

TRPO第二个技巧是利用重要性采样对动作分布进行处理，后文将会介绍新旧策略之间的差异非常小，因此使用重要性采样能够取得非常好的效果
$$\sum _a\tilde{\pi }(a|s)A_{\pi }(s_t,a_t)=E_{a\sim q(a|s)}[\frac{\tilde{\pi }(a|s)}{q(a|s)}{A}_{\pi }(s_t,a_t)]$$
在将s求和写为期望形式如下：
$$L_{\pi }(\tilde{\pi })=\eta (\pi )+E_{s\sim {\rho }_{{\theta }_{old}(s)},a\sim {\pi }_{{\theta }_{old}}(a|s)}[\frac{{\tilde{\pi }}_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}{A}_{{\pi }_{{\theta }_{old}}}(s_t,a_t)](4)$$

步长选择

我们观察一下(4)与(2)的区别，$L_{\pi }(\tilde{\pi })$与$\eta (\tilde{\pi })$的区别就是状态分布不同，他们都是$\tilde{\pi }$的函数，他们在策略${\pi }_{{\theta }_{old}}$处一阶近似，即：
$$\begin{array}{r}{L}_{{\pi }_{{\theta }_{old}}}({\pi }_{{\theta }_{old}})=\eta ({\pi }_{{\theta }_{old}})\\ {\nabla }_{\theta }{L}_{{\pi }_{{\theta }_{old}}}(\pi ){|}_{\theta ={\theta }_{old}}={\nabla }_{\theta }\eta ({\pi }_{\theta }){|}_{\theta ={\theta }_{old}}\end{array}$$
如上所示，在${\theta }_{old}$有限的范围内，两个目标函数相差十分近似，梯度也相同，因此可以用近似函数$L_{{\pi }_{{\theta }_{old}}}(\pi )$替代原先的目标函数。我们可以沿着近似函数的导数方向做有限步长的参数更新，同样可以提升策略梯度。

可问题是步长多大能够保证单调不减。既然近似函数与原目标函数是在策略附近一个很小的区域可以做到近似，那么就加入一个约束用于限定新旧策略的差异。如果把策略看做是一个概率分布，那么就可以使用KL散度表示两个分布之间的差异$D_{KL}^{max}(\pi ,\tilde{\pi })={\max }_s{D}_{KL}(\pi (\cdot |s)\Vert \tilde{\pi }(\cdot |s))$，并且原文中证明，当$\tilde{\pi }={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{{\pi }^{\prime }}{L}_{\pi }({\pi }^{\prime })$时，下式成立

$$\begin{array}{r}\eta (\tilde{\pi })\ge L_{\pi }(\tilde{\pi })-C\times D_{KL}^{max}(\pi ,\tilde{\pi })\\ whereC=\frac{2\epsilon \gamma }{(1-\gamma {)}^2}\end{array}$$
其中$ D_{KL}^{max}({pi},{tilde pi })$是KL散度，限制了策略模型更新前后的差异，则定义如下等式
$$M_i(\pi )=L_{{\pi }_i}(\pi )-C\times D_{KL}^{max}({\pi }_i,\pi )$$
利用这个等式，我们证明策略的单调性
$$\begin{array}{r}\eta ({\pi }_{i+1})\ge M_i({\pi }_{i+1})\\ \eta ({\pi }_i)=M_i({\pi }_i)\end{array}$$
上两式相减得
$$\eta ({\pi }_{i+1})-\eta ({\pi }_i)\ge M_i({\pi }_{i+1})-M_i({\pi }_i)$$
如上，要让值函数单调不减，则新策略${\pi }_{i+1}$能使得$M_i$最大即可。该问题转化为优化问题为
$$\underset{\theta }{\max }[L_{{\pi }_{{\theta }_{old}}}({\pi }_{\theta })-C{D}_{KL}^{max}({\pi }_{{\theta }_{old}},{\pi }_{\theta })]$$
上式直接优化KL散度，使得每一轮迭代的更新量很少，我们可以放宽KL散度的条件，将其写到约束中。并且如果利用惩罚因子C并使步长很小，问题可转化为
$$\begin{array}{r}\underset{\theta }{\max }{E}_{s\sim {\rho }_{{\theta }_{old}},a\sim {\pi }_{{\theta }_{old}}}[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}{A}_{{\pi }_{{\theta }_{old}}}(s,a)]\\ st{D}_{KL}^{max}({\pi }_{{\theta }_{old}},{\pi }_{\theta })\le \delta \end{array}$$
如上，将原代价函数的KL散度部分写到了约束中，虽然表面上看是对KL散度最大的状态S进行的约束，其实是对所有状态S的约束，这样优化方程的求解将变得非常复杂。为了便于运算，将max变为平均值，将约束条件放宽了，运算难度相应降低，但是实际优化效果并没有多大影响。

技巧三

在约束中，利用平均KL散度代替最大KL散度
$$st{\bar{D}}_{KL}^{{\rho }_{{\theta }_{old}}}({\pi }_{{\theta }_{old}},{\pi }_{\theta })\le \delta$$
其中
$${\bar{D}}_{KL}^{{\rho }_{{\theta }_{old}}}({\pi }_{{\theta }_{old}},{\pi }_{\theta })=E_{s\sim {\rho }_{{\theta }_{old}}}[D_{KL}({\pi }_{{\theta }_{old}}(\cdot |s)\Vert {\pi }_{\theta }(\cdot |s))]$$

技巧四

$$s\sim {\rho }_{{\theta }_{old}}\to s\sim {\pi }_{{\theta }_{old}}$$
最终TRPO问题转化为
$$\begin{array}{r}\underset{\theta }{\max }{E}_{s\sim {\rho }_{{\theta }_{old}},a\sim {\pi }_{{\theta }_{old}}}[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}{A}_{{\pi }_{{\theta }_{old}}}(s,a)]\\ st{E}_{s\sim {\rho }_{{\theta }_{old}}}[D_{KL}({\pi }_{{\theta }_{old}}(\cdot |s)||{\pi }_{\theta }(\cdot |s))]\le \delta \end{array}$$

二、自然梯度法求解优化问题

1. 自然梯度法介绍

在一些优化问题中，常规的梯度下降法只对参数更新量进行量化，当优化问题参数的两个坐标轴的尺度差异比较大时，使用统一的学习率会产生问题，其中的某一个坐标可能发散，另一个坐标还无法收敛，这样就会产生模型更新不均匀的现象。自然梯度法就是为了解决这种情况而产生的。自然梯度法不简单的使用学习率对参数更新进行量化，而是对模型效果进行量化。这里不详细介绍。自然梯度法的目标函数
$$\begin{array}{r}\underset{\Delta \omega }{\min }f(\omega )+{\nabla }_{\omega }f(\omega )\Delta \omega \\ s.t.\frac{1}{2}\Delta {\omega }^T{I}_{f_{\omega }}\Delta \omega \le ϵ\end{array}$$
其中$\omega$表示参数，$f$表示待优化的函数，$I_{f_{\omega }}$表示Fisher信息矩阵。

2. 自然梯度法应用

下面我们将TRPO的目标函数转换为自然梯度法的标准形式，首先对目标函数进行一阶泰勒展开
$$\begin{array}{rl}{L}_{{\pi }_{old}}(\pi )& =L_{{\pi }_{old}}(\pi ;\theta +\Delta \theta )\\ & \approx L_{{\pi }_{old}}({\pi }_{old};{\theta }_{old})+{\nabla }_{\theta }{L}_{{\pi }_{old}}(\pi ;{\theta }_{old}){|}_{\pi ={\pi }_{old}}(\Delta \theta )\end{array}$$
对约束条件进行变化
$$D_{KL}({\pi }_{old}|\pi )=-\frac{1}{2}\Delta {\theta }^T{E}_{{\pi }_{old}}[{\nabla }_{\theta }^2\log \pi ({\theta }_{old})]\Delta \theta$$

上式证明过程如下
$$\begin{array}{rl}{D}_{KL}(f(\omega )\Vert f(\omega +\Delta \omega ))& =E_{f_{\omega }}[\log \frac{f(\omega )}{f(\omega +\Delta \omega )}]\\ & =E_{f_{\omega }}[\log f(\omega )-\log f(\omega +\Delta \omega )]\\ & \approx E_{f_{\omega }}[\log f(\omega )]-E_{f_{\omega }}[\log f(\omega )+{\nabla }_{\omega }\log f_{\omega }(\omega )\Delta \omega +\frac{1}{2}\Delta {\omega }^T{\nabla }_{\omega }^2\log f(\omega )\Delta \omega ]\\ & =-E_{f_{\omega }}[{\nabla }_{\omega }\log f_{\omega }(\omega )\Delta \omega ]-E_{f_{\omega }}[\frac{1}{2}\Delta {\omega }^T{\nabla }_{\omega }^2\log f(\omega )\Delta \omega ]\\ & =-E_{f_{\omega }}[\frac{1}{2}\Delta {\omega }^T{\nabla }_{\omega }^2\log f(\omega )\Delta \omega ]\end{array}$$
上式约等于是通过对第二项泰勒展开，最终结果的第一项可约减如下
$$\begin{array}{rl}{E}_{f_{\omega }}[{\nabla }_{\omega }\log f_{\omega }(\omega )\Delta \omega ]& ={\int }_{\omega }f(\omega ){\nabla }_{\omega }\log f_{\omega }(\omega )\Delta \omega d\omega \\ & ={\int }_{\omega }f(\omega )\frac{{\nabla }_{\omega }{f}_{\omega }(\omega )}{f_{\omega }(\omega )}\Delta \omega d\omega \\ & =\Delta \omega {\int }_{\omega }{\nabla }_{\omega }{f}_{\omega }(\omega )d\omega \\ & =\Delta \omega {\nabla }_{\omega }{\int }_{\omega }{f}_{\omega }(\omega )d\omega \\ & =\Delta \omega {\nabla }_{\omega }1\\ & =0\end{array}$$

约束条件最终变为
$$\begin{array}{rl}{\overline{D}}_{KL}^{{\rho }_{{\pi }_{old}}}({\pi }_{old},\pi )& ={\overline{D}}_{KL}^{{\rho }_{{\pi }_{old}}}(\pi ({\theta }_{old}),\pi ({\theta }_{old}+\Delta \theta ))\\ & =E_{s\sim {\rho }_{{\pi }_{old}}}[D_{KL}(\pi ({\theta }_{old}|s)\Vert \pi ({\theta }_{old}+\Delta \theta |s))]\\ & =E_{s\sim {\rho }_{{\pi }_{old}}}[-\frac{1}{2}\Delta {\theta }^T{E}_{{\pi }_{old}}[{\nabla }_{\theta }^2\log \pi ({\theta }_{old})]\Delta \theta ]\end{array}$$
又因为$I_{{\pi }_{{\theta }_{old}}}=-E_{{\pi }_{old}}[{\nabla }_{\theta }^2\log \pi ({\theta }_{old})]$上式可以进一步化简为
$$\begin{array}{rl}{\overline{D}}_{KL}^{{\rho }_{{\pi }_{old}}}({\pi }_{old},\pi )& =E_{s\sim {\rho }_{{\pi }_{old}}}[\frac{1}{2}\Delta {\theta }^T{I}_{{\pi }_{{\theta }_{old}}}\Delta \theta ]\\ & =\frac{1}{N}\sum _{i=1}^N\frac{1}{2}\Delta {\theta }^T{I}_{{\pi }_{{\theta }_{old}}}(s_i)\Delta \theta \\ & =\frac{1}{2}\Delta {\theta }^T[\frac{1}{N}\sum _{i=1}^N{I}_{{\pi }_{{\theta }_{old}}}(s_i)]\Delta \theta \end{array}$$
令$A({\theta }_{old})=\frac{1}{N}{\sum }_{i=1}^N{I}_{{\pi }_{{\theta }_{old}}}(s_i)$，最终TRPO优化问题可写为
$$\begin{array}{r}\underset{\Delta \theta }{\max }{\nabla }_{\theta }{L}_{{\pi }_{old}}(\pi ;{\theta }_{old}){|}_{\pi ={\pi }_{old}}(\Delta \theta )\\ s.t.\frac{1}{2}\Delta {\theta }^{T}A({\theta }_{old})\Delta \theta \le ϵ\end{array}$$
上述将TRPO问题化为了一个标准的自然梯度法形式。下面介绍上述优化问题的求解算法。

3. 共轭梯度法求解

上述问题采用拉格朗日乘子法可以得到模型更新量的解析形式
$$A({\theta }_{old})\Delta \theta ={\nabla }_{\theta }{L}_{{\pi }_{old}}$$
上述问题需要计算Fisher信息矩阵$A({\theta }_{old})$的逆矩阵，但是逆矩阵的计算量非常大，会降低模型的训练速度。我们更想用迭代的方式进行求解，共轭梯度法就是一个非常好的工具。

我们知道共轭梯度法就是用来求解形如$Ax=g$这样的问题，只要直接使用共轭梯度法就可求解。但是其中可以用到一个简化计算的小技巧。在共轭梯度法的每一轮迭代中，优化步长为
$${\alpha }_k=\frac{r_k^T{r}_k}{p_k^{T}A({\theta }_{old})p_k}$$
虽然每次迭代$A$只进行一次计算，但是还是会带来非常大的计算量。矩阵$A$和向量$p_k$进行乘法会得到一个向量，向量的每一个值是通过矩阵的行向量与$p_k$相乘得到的，我们可以将这个过程进行分解
$$\begin{array}{rl}(Ap)[i]& =\sum _{j=1}^N(\frac{\partial }{\partial {\theta }_i}\frac{\partial }{\partial {\theta }_j}f({\pi }_{\theta }))[i,j]\times p[j]\\ & =\frac{\partial }{\partial {\theta }_i}\sum _{j=1}^N(\frac{\partial }{\partial {\theta }_j}f({\pi }_{\theta }))[j]\times p[j]\end{array}$$
上述方法将一个二阶导问题化为了两个一阶导问题，大大降低了运算量，提高了计算速度。

通过共轭梯度法可以求出更新方向，但是在使用拉格朗日乘子法时，我们忽略了拉格朗日乘子的大小，只计算出了参数更新方向，下面我们求取参数更新步长。

4. 置信区域计算步长

在自然梯度法优化的标准形式中，我们定义了一个二阶约束，这个约束条件定义为参数更新的置信区域，一定程度上反映了模型更新前后的差距，通过这个约束，我们可以确定每一次的更新步长。假设刚求出的参数更新方向为$s$，现在令最大步长为$\beta$，代入约束得
$$\begin{array}{r}\frac{1}{2}(\beta s{)}^{T}A({\theta }_{old})(\beta s)\le ϵ\\ \beta \le \sqrt{\frac{2ϵ}{\frac{1}{N}{\sum }_{n=1}^N{s}^{T}A({\theta }_{old})s}}\end{array}$$
上述根号下分母也可以采用两个一阶导替代二阶导的方法计算。步长的选取方法为：先将$\beta$代入尝试，观察策略是否提升，如果提升了则选取步长结束；如果策略没有提升，则将步长减少一半，才进行测试，直到满足要求为止。

最后

以上就是仁爱奇异果为你收集整理的【强化学习】随机策略梯度强化学习-TRPO置信域策略优化推导分析《Trust Region Policy Optimization》的全部内容，希望文章能够帮你解决【强化学习】随机策略梯度强化学习-TRPO置信域策略优化推导分析《Trust Region Policy Optimization》所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。