通过时间反向传播
从 t=1 t = 1 到 t=τ t = τ 应用如下更新方程:
a(t)=b+Wh(t−1)+Ux(t) a ( t ) = b + W h ( t − 1 ) + U x ( t )
h(t)=tanh(a(t)) h ( t ) = t a n h ( a ( t ) )
o(t)=c+Vh(t) o ( t ) = c + V h ( t )
y^(t)=softmax(o(t)) y ^ ( t ) = s o f t m a x ( o ( t ) )
设损失函数 L(t) L ( t ) 为给定 x(1),...,x(τ) x ( 1 ) , . . . , x ( τ ) 后 y(t) y ( t ) 的负对数似然,则:
L(x,y)=−∑tlogpmodel(y(t)|{ x(1),...,x(τ)}) L ( x , y ) = − ∑ t l o g p m o d e l ( y ( t ) | { x ( 1 ) , . . . , x ( τ ) } )
=−logexp(o(t)y(t))∑iexp(o(t)i) = − l o g e x p ( o y ( t ) ( t ) ) ∑ i e x p ( o i ( t ) )
=−logy^(t) = − l o g y ^ ( t )
其中 i i 为
最后
以上就是专注硬币最近收集整理的关于RNN 公式及其推导 的全部内容,更多相关RNN内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复