爱听歌日记本

文章
3
资源
1
加入时间
3年1月15天

RNN里 门(gate) 的理解

门不是像mask一样造成 0 或 1 的输出, 而是限流的作用,控制数值大小,这靠 点乘 操作实现, (点乘而不求和就没有cosine相似度的含义,) 要控制数值大小,点乘是最好的选择。 这时再看LSTM的公式, 公式里 i f o 明显就是将 点乘 的另一乘数 限流/控制了,