线性支持向量机-合页损失函数(Hinge Loss)

375 阅读 0 评论 248 点赞

我是靠谱客的博主从容发箍，这篇文章主要介绍线性支持向量机-合页损失函数(Hinge Loss)，现在分享给大家，希望可以做个参考。

线性支持向量机学习有另一种解释，那就是最小化以下目标函数：
$sum_{i=1}^N[1-y_i(w · x_i+b)]_+ + lambda ||w||^2$
目标函数得第一项是经验损失函数或者经验风险，函数 $L(y(w·x+b)) = [1-y(w·x+b)]_+$ 称为合页损失函数。下标+表示以下取正值得函数。
$[z]_+ =begin{cases} z,&z>0\ 0,&z le 0 end{cases}$
目标函数第二项是系数为 $λ$ 的 $w$ 的 $L_2$ 范数，是正则化项。

定理证明

线性支持向量机原始最优化问题:
$min_{w,b,xi} dfrac{1}{2} ||w||^2 + Csum_{i=1}^{N}xi_i tag{1}$
$y_i(w·x_i+b) ge 1- xi_i,i=1,2,dots,N tag{2}$
$xi_i ge 0,i=1,2,dots,N tag{3}$
等价于最优化问题 $minlimits_{w,b} sum_{i=1}^N [1-y_i(w·x_i+b)]_+ + lambda||w||^2 tag{4}$

证明:
令 $[1-y_i(w·x_i+b)]_+ = xi_i$ ，则 $xi_i ge 0$ ，式（2）成立。
当 $1-y_i(w·x_i+b)>0$ 时，有 $1-y_i(w·x_i+b) = xi_i$ ， $y_i(w·x_i+b)=1-xi_i$ ；当 $1-y_i(w·x_i+b) le0$ 时，有 $xi_i =0$ ， $y_i(w·x_i+b) ge 1-xi_i$ ，故（3）式成立。
于是 $w, b, ξ$ 满足约束条件（2）（3），所以最优化问题（4）可以写成 $minlimits_{w,b} sum_{i=1}^Nxi_i + lambda||w||^2$ ,若取 $C \cdot 2 λ = 1$ ,则 $minlimits_{w,b} dfrac{1}{C}{(dfrac{1}{2}||w||^2+Csum_{i=1}^Nxi_i)}$