深度神经网络中的损失函数

深度神经网络中的目标函数（objective function）

1. 亦称：“损失函数”（loss function）& “代价函数”（cost function）
2. 可谓整个深度网络模型的“指挥棒”
3. 通过样本的预测结果与真实标记之间产生的误差，反向传播 指导网络参数学习 与 表示学习

1 分类任务的损失函数

1.1 交叉熵（cross entrypy）损失函数

• 亦称Softmax损失函数
• 最常用的分类损失函数
• 通过指数化变换，使网络输出 $h$ 转换成 概率形式
  $$L_{crossentrypyloss}=L_{softmaxloss}=-\frac{1}{N}\sum _{i=1}^N\log \frac{e^{h_{y_i}}}{{\sum }_{j=1}^C{e}^{h_j}}$$

1.2 合页（hinge）损失函数

• 在支持向量机中，被广泛使用
• 对错误越大的样本，施加越严重的惩罚
• 对噪声（离群点）的抵抗能力较差
• 分类效果：交叉熵损失函数 略优于 合页损失函数
  L h i n g e l o s s = 1 N ∑ i = 1 N max ⁡ { 0 , 1 − h y i } L_{hinge loss}=frac{1}{N}sum_{i=1}^Nmax{0,1-h_{y_i}} Lhingeloss​=N1​i=1∑N​max{0,1−hyi​​}

1.3 坡道（ramp）损失函数

• 非凸（non-convex）损失函数（具有良好的抗噪特性）
• 在分类误差较大的区域，进行截断，来适当减小对整个误差函数的影响
• 亦称“鲁棒（robust）损失函数” & “截断合页（truncated hinge）损失函数”
  L r a m p l o s s = L h i n g e l o s s − 1 N ∑ i = 1 N max ⁡ { 0 , s − h y i } = 1 N ∑ i = 1 N ( max ⁡ { 0 , 1 − h y i } − max ⁡ { 0 , s − h y i } ) L_{ramp loss}=L_{hinge loss}-frac{1}{N}sum_{i=1}^Nmax{0,s-h_{y_i}}=frac{1}{N}sum_{i=1}^N(max{0,1-h_{y_i}}-max{0,s-h_{y_i}}) Lramploss​=Lhingeloss​−N1​i=1∑N​max{0,s−hyi​​}=N1​i=1∑N​(max{0,1−hyi​​}−max{0,s−hyi​​})
  截断点：$s$，其取值最好根据分类任务的类别数$C$而定，$s=-\frac{1}{C-1}$。

1.4 大间隔交叉熵（large-margin softmax）损失函数

以上提到的交叉熵损失函数、合页损失函数、坡道损失函数的缺陷：

• 没有显示地将特征判别性学习考虑进整个网络训练中

问题解决：大间隔交叉熵损失函数、中心损失函数

• 考虑了增大类间距离，减小类内差异
• 提升了网络学习特征的判别能力

$$L_{large-marginsoftmaxloss}=-\frac{1}{N}\sum _{i=1}^N\log \frac{e^{\parallel W_i\parallel \parallel x_i\parallel \varphi ({\theta }_{h_{y_i}})}}{e^{\parallel W_i\parallel \parallel x_i\parallel \varphi ({\theta }_{h_{y_i}})}+{\sum }_{j\ne y_i}{e}^{\parallel W_i\parallel \parallel x_i\parallel \cos ({\theta }_j)}}$$

• 将第$i$类分类间隔“拉大”了，扩大了类间距离
• 由于它不仅要求分类正确，而且要求类间保持较大间隔，从而训练目标比传统交叉熵损失函数更困难；也正是因此，得到一个额外的好处，防止了模型过拟合
• 分类效果：优于 交叉熵损失函数、合页损失函数

1.5 中心（center）损失函数

$$L_{centerloss}=\frac{1}{2}\sum _{i=1}^N\parallel x_i-c_{y_i}{\parallel }_2^2$$

• 将注意力放在了减小 类内差异 上（迫使所有隶属于$y_i$类的样本与中心不要距离过远，否则将增大惩罚）
• 在实际使用时，经常与考虑 类间距离 的损失函数 配合使用，如交叉熵损失函数
  $$L_{final}=L_{crossentropyloss}+\lambda L_{centerloss}=-\frac{1}{N}\sum _{i=1}^N\log \frac{e^{h_{y_i}}}{{\sum }_{j=1}^C{e}^{h_j}}+\frac{\lambda }{2}\sum _{i=1}^N\parallel x_i-c_{y_i}{\parallel }_2^2$$
  • 调节项：$\lambda$

2 回归任务的损失函数

分类问题中

• 样本真实标记 对应了一条独热向量（one hot vector）
• 类别数 $C=5$ ，某个样本真实标记（类别）为3号类别，则独热向量=$(0,0,1,0,0)$

回归问题中

• 同样，样本真实标记 对应了一条向量
• 但是，此时样本$i$的真实标记向量$y_i=(y_1,...,y_i,...,y_M)，其中M为标记向量的维度（一般比较大）$
• 样本$i$，在第$t$维的预测误差：$l_t^i=y_t^i-{\hat{y}}_t^i$

2.1 l1和 l2损失函数

• $l_1$ 损失函数：$L_{l_{1}loss}=\frac{1}{N}{\sum }_{i=1}^N{\sum }_{t=1}^M|l_t^i|$
• $l_2$ 损失函数：$L_{l_{1}loss}=\frac{1}{N}{\sum }_{i=1}^N{\sum }_{t=1}^M(l_t^i{)}^2$
• $l_1$ 和 $l_2$ 损失函数，在回归精度上，几乎相差无几（某些情况下 $l_2$ 损失略优）
• $l_2$ 损失函数收敛速度比 $l_1$ 更快

2.2 Tukey’s biweight 损失函数

• 非凸（non-convex）损失函数（具有良好的抗噪特性）
  $$L_{Tuke{y}^{\prime }sbiweightloss}=\{\begin{array}{ll}\frac{c^2}{6N}{\sum }_{i=1}^N{\sum }_{t=1}^M[1-(1-(\frac{l_t^i}{c}{)}^2{)}^3]& \text{∣lti∣≤c}\\ \frac{c^{2}M}{6},& \text{其他}\end{array}$$
• 常数$c$指定了函数拐点

3 其他任务的损失函数

在一些如人的年龄，身体倾斜角度识别任务中，样本标记具有不确定性。

• 基于标记分布（label distribution）的损失函数为一种优质选择。

• 在利用标记分布技术之前，首先需要将输出$h$转化为合法分布。在此以Softmax函数为例可将输出转化为：${\hat{y}}_k=\frac{e^{h_{y_i}}}{{\sum }_{j=1}^C{e}^{h_j}}$，其中 k ∈ { 1 , 2 , . . . , k , . . . , C } kin{1,2,...,k,...,C} k∈{1,2,...,k,...,C}代表标记向量的第$k$维
• Kullback-Leibler散度（KL divergence）：用来度量 预测的标记向量$\hat{y}$ 与 真实的标记向量$y$ 之间的误差，KL散度亦称KL损失：
  $$L_{KLloss}=\sum _{k=1}^C{y}_k\log \frac{y_k}{{\hat{y}}_k}，由于y_k为常数，则⟺L_{KLloss}=-\sum _{k=1}^C{y}_k\log {\hat{y}}_k$$

最后

以上就是等待裙子为你收集整理的深度神经网络中的损失函数的全部内容，希望文章能够帮你解决深度神经网络中的损失函数所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。