概述
假设有m个数据输入
X
:
x
1
,
x
2
.
.
.
x
m
X:x^1,x^2...x^m
X:x1,x2...xm
模型预测值为
Y
:
y
1
,
y
2
.
.
.
y
m
Y:y^1,y^2...y^m
Y:y1,y2...ym
模型真实值为
Y
^
:
y
^
1
,
y
^
2
.
.
.
y
^
m
hat{Y}:hat{y}^1,hat{y}^2...hat{y}^m
Y^:y^1,y^2...y^m
SSE(和方差)
S
S
E
(
Y
,
Y
^
)
=
∑
i
=
1
m
(
y
^
i
−
y
i
)
2
SSE(Y,hat{Y})=sum_{i=1}^{m}(hat{y}_i -y_i)^2
SSE(Y,Y^)=i=1∑m(y^i−yi)2
SSE越小，模型拟合越好。
MSE(均方误差,mean_squared_error)
M S E ( Y , Y ^ ) = 1 m ∑ i = 1 m ( y ^ i − y i ) 2 MSE(Y,hat{Y})=frac{1}{m} sum_{i=1}^{m}(hat{y}_i -y_i)^2 MSE(Y,Y^)=m1i=1∑m(y^i−yi)2
二分类交叉熵损失（binary_crossentropy）
交叉熵损失本质上是一种对数似然函数。
B
C
(
Y
,
Y
^
)
=
−
1
m
∑
i
=
1
m
[
y
^
i
l
o
g
(
y
i
)
+
(
1
−
y
^
i
)
l
o
g
(
1
−
y
i
)
]
BC(Y,hat{Y})=-frac{1}{m} sum_{i=1}^{m}[hat{y}_ilog(y_i )+(1-hat{y}_i)log(1-y_i)]
BC(Y,Y^)=−m1i=1∑m[y^ilog(yi)+(1−y^i)log(1−yi)]
多类交叉熵损失（categorical_crossentropy）
真实值采用one-hot编码
C
C
(
Y
,
Y
^
)
=
−
1
m
∑
j
=
1
m
∑
i
=
1
m
y
^
i
j
l
o
g
(
y
i
j
)
CC(Y,hat{Y})=-frac{1}{m}sum_{j=1}^{m} sum_{i=1}^{m}hat{y}_i^jlog(y_i^j)
CC(Y,Y^)=−m1j=1∑mi=1∑my^ijlog(yij)
多类交叉熵损失（sparse_categorical_crossentropy）
原理与categorical_crossentropy一样，区别是真实值采用整数编码。
KL散度（相对熵）
K L D ( Y , Y ^ ) = 1 m ∑ j = 1 m ∑ i = 1 m y ^ i j ( l o g y ^ i j y i j ) KLD(Y,hat{Y})=frac{1}{m}sum_{j=1}^{m} sum_{i=1}^{m}hat{y}_i^j(logfrac{hat{y}_i^j}{y_i^j} ) KLD(Y,Y^)=m1j=1∑mi=1∑my^ij(logyijy^ij)
Focal loss
解决one-stage目标检测中正负样本比例不均衡简单样本和困难样本失衡的问题
F
L
(
p
t
)
=
−
(
1
−
p
t
)
γ
l
o
g
(
p
t
)
FL(p_t)=-(1-p_t)^γlog(p_t)
FL(pt)=−(1−pt)γlog(pt)
最后
以上就是从容指甲油为你收集整理的介绍常见的Loss损失函数SSE(和方差)MSE(均方误差,mean_squared_error)二分类交叉熵损失（binary_crossentropy）多类交叉熵损失（categorical_crossentropy）多类交叉熵损失（sparse_categorical_crossentropy）KL散度（相对熵）Focal loss的全部内容，希望文章能够帮你解决介绍常见的Loss损失函数SSE(和方差)MSE(均方误差,mean_squared_error)二分类交叉熵损失（binary_crossentropy）多类交叉熵损失（categorical_crossentropy）多类交叉熵损失（sparse_categorical_crossentropy）KL散度（相对熵）Focal loss所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复