为什么感知机使用函数间隔作为损失函数(忽略1/||w||)

62 阅读 0 评论 41 点赞

我是靠谱客的博主羞涩老虎，最近开发中收集的这篇文章主要介绍为什么感知机使用函数间隔作为损失函数(忽略1/||w||)，觉得挺不错的，现在分享给大家，希望可以做个参考。

几何间隔相对于函数间隔的一个区别就是它不受参数（ $w$ 和 $b$ ）缩放影响，所以在SVM 这种优化目标是点到超平面之间的间隔的模型中，采用的是几何间隔。（如果采用函数间隔，学习过程会不断的产生更大的 $w$ 和 $b$ ，根本停不下来）

但是感知机的目标是使误分类的点的个数为0，加不加 $frac{1}{||w||}$ 对 $-y(wx+b)$ 的正负判定毫无影响。相对的，采用几何间隔反而会使学习过程复杂化。推导如下：

若忽略 $frac{1}{||w||}$ ，参数的更新如下：

$w_{k}=w_{k-1} + eta y_ix_i$

$b_{k}=b_{k-1} + eta y_i$

若不忽略 $frac{1}{||w||}$ ，参数的更新如下：

$frac{partial }{partial w}||w|| = frac{w}{||w||}$

$w_{k}=w_{k-1} + eta y_ix_i(frac{i}{||w||}-frac{ww^{t}}{||w||^{3}})+eta y_ib_{k-1}(-frac{w}{||w||^3})$

$b_{k}=b_{k-1} + frac{1}{||w||}eta y_i$

可见，若不省略 $frac{1}{||w||}$ ，每次需要进行很复杂的求导，所以通常直接省略，减少计算量。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。