《动手学深度学习》Task03打卡针对过拟合、欠拟合及其解决方案的认识针对梯度消失、梯度爆炸的认识针对循环神经网络进阶的认识

针对过拟合、欠拟合及其解决方案的认识

• 欠拟合（underfitting）：模型无法得到较低的训练误差；
• 过拟合（overfitting）：模型的训练误差远小于它在测试数据集上的误差。
  
  给定训练数据集，模型复杂度和误差之间的关系：
  
  

当对该隐藏层使用丢弃法时，该层的隐藏单元将有一定概率被丢弃掉。设丢弃概率为$p$，那么有$p$的概率$h_i$会被清零，有$1-p$的概率$h_i$会除以$1-p$做拉伸。丢弃概率是丢弃法的超参数。具体来说，设随机变量${\xi }_i$为0和1的概率分别为$p$和$1-p$。使用丢弃法时我们计算新的隐藏单元$h_i^{\prime }$

$$h_i^{\prime }=\frac{{\xi }_i}{1-p}{h}_i$$

由于$E({\xi }_i)=1-p$，因此

$$E(h_i^{\prime })=\frac{E({\xi }_i)}{1-p}{h}_i=h_i$$

针对梯度消失、梯度爆炸的认识

• 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。
• 如果将每个隐藏单元的参数都初始化为相等的值，那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。在反向传播中，每个隐藏单元的参数梯度值相等。通常将神经网络的模型参数，特别是权重参数，进行随机初始化。
• 考虑环境因素
  协变量偏移：输入特征X改变；
  标签偏移：输出标签y改变；
  概念偏移：X到y之间出现新的映射关系。

针对循环神经网络进阶的认识

• RNN
  
  $H_t=\varphi (X_t{W}_{xh}+H_{t-1}{W}_{hh}+b_h)$
• LSTM
  
  $I_t=\sigma (X_t{W}_{xi}+H_{t-1}{W}_{hi}+b_i)$
  $F_t=\sigma (X_t{W}_{xf}+H_{t-1}{W}_{hf}+b_f)$
  $O_t=\sigma (X_t{W}_{xo}+H_{t-1}{W}_{ho}+b_o)$
  ${\tilde{C}}_t=tanh(X_t{W}_{xc}+H_{t-1}{W}_{hc}+b_c)$
  $C_t=F_t\odot C_{t-1}+I_t\odot {\tilde{C}}_t$
  $H_t=O_t\odot tanh(C_t)$
• GRU
  
  $R_t=\sigma (X_t{W}_{xr}+H_{t-1}{W}_{hr}+b_r)$
  $Z_t=\sigma (X_t{W}_{xz}+H_{t-1}{W}_{hz}+b_z)$
  ${\tilde{H}}_t=tanh(X_t{W}_{xh}+(R_t\odot H_{t-1})W_{hh}+b_h)$
  $H_t=Z_t\odot H_{t-1}+(1-Z_t)\odot {\tilde{H}}_t$
• 深度循环神经网络
  
  $$\begin{gathered} {\mathbf{H}}_t^{(1)}=\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(1)}+{\mathbf{H}}_{t-1}^{(1)}{\mathbf{W}}_{hh}^{(1)}+{\mathbf{b}}_h^{(1)}) \\ {\mathbf{H}}_t^{(\ell )}=\varphi ({\mathbf{H}}_t^{(\ell -1)}{\mathbf{W}}_{xh}^{(\ell )}+{\mathbf{H}}_{t-1}^{(\ell )} \\ {\mathbf{W}}_{hh}^{(\ell )}+{\mathbf{b}}_h^{(\ell )}) \\ {\mathbf{O}}_t={\mathbf{H}}_t^{(L)}{\mathbf{W}}_{hq}+{\mathbf{b}}_q \end{gathered}$$
• 双向循环神经网络
  $$\begin{gathered} \begin{array}{rl}{\overrightarrow{\mathbf{H}}}_t& =\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(f)}+{\overrightarrow{\mathbf{H}}}_{t-1}{\mathbf{W}}_{hh}^{(f)}+{\mathbf{b}}_h^{(f)})\\ {\overleftarrow{\mathbf{H}}}_t& =\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(b)}+{\overleftarrow{\mathbf{H}}}_{t+1}{\mathbf{W}}_{hh}^{(b)}+{\mathbf{b}}_h^{(b)})\end{array} \\ {\mathbf{H}}_t=({\overrightarrow{\mathbf{H}}}_t,{\overleftarrow{\mathbf{H}}}_t) \\ {\mathbf{O}}_t={\mathbf{H}}_t{\mathbf{W}}_{hq}+{\mathbf{b}}_q \end{gathered}$$

最后

以上就是称心超短裙为你收集整理的《动手学深度学习》Task03打卡针对过拟合、欠拟合及其解决方案的认识针对梯度消失、梯度爆炸的认识针对循环神经网络进阶的认识的全部内容，希望文章能够帮你解决《动手学深度学习》Task03打卡针对过拟合、欠拟合及其解决方案的认识针对梯度消失、梯度爆炸的认识针对循环神经网络进阶的认识所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。