RNN 公式及其推导

51 阅读 0 评论 34 点赞

我是靠谱客的博主专注硬币，最近开发中收集的这篇文章主要介绍RNN 公式及其推导，觉得挺不错的，现在分享给大家，希望可以做个参考。

从 $t=1$ 到 $t=tau$ 应用如下更新方程:

$a^{(t)} = b + Wh^{(t-1)} + Ux^{(t)}$

$h^{(t)} = tanh(a^{(t)})$

$o^{(t)} = c + Vh^{(t)}$

$hat y^{(t)} = softmax(o^{(t)})$

设损失函数 $L^{(t)}$ 为给定 $x^{(1)}, ..., x^{(tau)}$ 后 $y^{(t)}$ 的负对数似然，则:

$L(x,y) = - sum_{t} log p_{model}( y^{(t)} | left { x^{(1)}, ..., x^{(tau)} right } )$

$= -log frac{exp( o^{(t)}_{y(t)} )}{sum_i exp( o^{(t)}_i )}$

$= -log hat y^{(t)}$

其中 $i$ 为 $o^{(t)}$

以上就是专注硬币为你收集整理的RNN 公式及其推导的全部内容，希望文章能够帮你解决RNN 公式及其推导所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。