循环神经网络(RNN)入门 :向量到序列,序列到序列,双向RNN,马尔科夫化
rnn似乎更擅长信息的保存和更新,而cnn似乎更擅长精确的特征提取;rnn输入输出尺寸灵活,而cnn尺寸相对刻板。聊到循环神经网络RNN,我们第一反应可能是:时间序列 (time sequence)。确实,RNN擅长时间相关的应用(自然语言,视频识别,音频分析)。但为什么CNN不容易处理时间序列而RNN可以? 为什么我们之前说过RNN有一定的记忆能力?数学上,如果我们想要预测一个单词x 的后一个单词y,我们需要3个主要元素(输入单词x;x的上下文状态h1;通过x和h1输出下一个单词的函数比如so