为什么感知机使用函数间隔作为损失函数(忽略1/||w||)

59 阅读 0 评论 39 点赞

我是靠谱客的博主羞涩老虎，这篇文章主要介绍为什么感知机使用函数间隔作为损失函数(忽略1/||w||)，现在分享给大家，希望可以做个参考。

几何间隔相对于函数间隔的一个区别就是它不受参数（ $w$ 和 $b$ ）缩放影响，所以在SVM 这种优化目标是点到超平面之间的间隔的模型中，采用的是几何间隔。（如果采用函数间隔，学习过程会不断的产生更大的 $w$ 和 $b$ ，根本停不下来）

但是感知机的目标是使误分类的点的个数为0，加不加 $frac{1}{||w||}$ 对 $-y(wx+b)$ 的正负判定毫无影响。相对的，采用几何间隔反而会使学习过程复杂化。推导如下：

若忽略 $frac{1}{||w||}$ ，参数的更新如下：

$w_{k}=w_{k-1} + eta y_ix_i$

$b_{k}=b_{k-1} + eta y_i$

若不忽略 $frac{1}{||w||}$ ，参数的更新如下：

$frac{partial }{partial w}||w|| = frac{w}{||w||}$

$w_{k}=w_{k-1} + eta y_ix_i(frac{i}{||w||}-frac{ww^{t}}{||w||^{3}})+eta y_ib_{k-1}(-frac{w}{||w||^3})$

$b_{k}=b_{k-1} + frac{1}{||w||}eta y_i$

可见，若不省略 $frac{1}{||w||}$ ，每次需要进行很复杂的求导，所以通常直接省略，减少计算量。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。