RNN记忆特性 Long-Short Memory Network(LSTM长短期记忆网络)
RNN与语义分析RNN的祖先是1982年提出的Hopfield网络。Hopfield网络因为实现困难，外加没有合适应用，被86年后的前馈网络取代。90年代恰逢神经网络衰落期，前馈MLP在Optimization上被揪出种种弊端，又被SVM取代。在Represention上，CV界老一辈还在用着hand-made特征，Speech&NLP也偏重Statistics的特
