8.8LSTM作为元学习器学习梯度下降
文章目录1、介绍2、引入 RNNLSTM3、LSTM变换成梯度下降4、LSTM学习梯度下降实验结果5、梯度下降LSTM +动量实验结果参考资料本节讨论的是“元学习”,我们将讨论用 LSTM 做优化器的方法。我们所指的训练,是指训练优化器 LSTM 的参数。1、介绍我们可以把元学习的过程,当然 RNN 来看。首先复习 RNN 。多数时候,我们说 RNN ,其实就是在用 LSTM 。比较 LSTM 中的运算与 meta-learning 中的更新式,会发现有一些相似之处。在实际操作中,我们做了非常大