【ICML2021】具有持续进化策略的展开计算图的无偏梯度估计

来源：专知

本文为论文，建议阅读5分钟 Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies

Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies

• 作者：Paul Vicol、Luke Metz、Jascha Sohl-Dickstein

• 论文地址：

  http://proceedings.mlr.press/v139/vicol21a/vicol21a.pdf

摘要：目前，展开（unrolled）计算图应用在很多场景中，包括训练 RNN、通过展开优化微调超参数和训练可学习优化器等。但是，在这类计算图中优化参数的方法存在着高方差梯度、偏差、更新缓慢以及大量内存使用等诸多问题。

研究者提出了一种名为 Persistent Evolution Strategies （PES）的方法，它可以将计算图分成一系列截断的展开，并在每次展开后执行基于进化策略的更新步骤。PES 通过在整个展开序列上累积校正项消除这些截断的偏差，可以实现快速参数更新，具有低内存使用、无偏差以及合理的方差特征。实验表明，PES 在合成任务上展现出了与其他梯度估计方法的优势，并在训练可学习优化器和微调超参数方面具有适用性。

图右为一个展开计算图，展示了如何使用图左的公式 1 和公式 2 来描述 RNN 和展开优化。

PES 方法与其他在展开计算图中学习参数的方法的比较。

编辑：文婧