最近研究了lstm后做的总结

96 阅读 0 评论 64 点赞

我是靠谱客的博主忐忑鸭子，最近开发中收集的这篇文章主要介绍最近研究了lstm后做的总结，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

关于lstm的结构是否可变：

这个结构本身已经很好了，这个意思是你去小改小动无非是去调整lstm中各个部分的作用（只是调整）或是删去某个部分。但你在大致方向上不能做任何改动，这里比如为什么要先用短时那条线去更新长时那条线，而不是先更新短时的线，这个顺序是不能变的（但为什么我自己出个结构就不行呢，实际上你的结构这要在相同参数下结果相似，那已经很了不起了）。所以最后也就是加个peephole，调和遗忘门和输入门，或者改改出入口。

关于lstm的参数：

每个门有一组权重和偏置，隐藏层和输出长度实际上作用不大，这个结构无论如何都是会收敛的，所以反倒是优化器得学习率是最重要的参数。

所以说以后不应该考虑通过调整lstm结构来获取学术成就，收益很小。

这里说明一下，lstm一般是跑序列的回归或是分类问题，但最终出结果时你需要跑很多个序列，不如把这些序列整合起来用cnn去跑，这样能掩饰单个序列预测上的不足。