【机器学习】LSTM 讲解

74 阅读 0 评论 49 点赞

我是靠谱客的博主爱笑鸡，最近开发中收集的这篇文章主要介绍【机器学习】LSTM 讲解，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

2. LSTM

2.1. 长期依赖问题

标准 RNN 结构在理论上完全可以实现将最初的信息保留到即使很远的时刻，但是在实践中发现 RNN 会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时刻传送到后面的时刻。因此，如果正在尝试处理一段文本进行预测，RNN 可能从一开始就会遗漏重要信息。比如我们尝试预测 “I grew up in France … I speak fluent French” 这句话的最后一个词 ”French“ 。当前的信息（“I speak fluent”）表明接下来的单词是很可能是语言的名字。但是需要哪种语言，我们就要根据离当前位置很远的 “France” 来确定。这就说明相关信息和当前预测词的位置之间的间隔可能非常大，随着这间隔不断变大，RNN 就会失去学习连接如此远的信息的能力。这就是我们上面提到的 RNN 最致命的缺点。

为了解决这个问题，提出了 LSTM 。