LSTM 和 TCN 能记住多长时间的依赖关系?
LSTM 是序列建模任务(例如语言建模和时间序列预测)中广泛使用的技术。 此类任务通常具有长期记忆和短期记忆,因此学习两种模式以进行准确预测和估计非常重要。 基于 Transformers 的技术正在兴起,这种技术有助于对长期依赖进行建模并且比lstm好得多,但由于需要大量数据的训练和部署复杂性,Transformer 不能用于每个应用程序。 在这篇文章中,我将在 LSTM 和 TCN 的长期信息学习方面进行比较。本文假设读者对 LSTM 和 CNN 神经网络的模型理论和架构有初步的了解。技术背