常用的核函数

51 阅读 0 评论 34 点赞

我是靠谱客的博主畅快小蜜蜂，最近开发中收集的这篇文章主要介绍常用的核函数，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

在机器学习建模过程中，核函数的选择通常和应用场景有关，有专用核函数，但实际上，还是有一些通用核函数，本文重点介绍一些通用核函数，理解核函数，有助于在实战过程中选择合理的调参范围，指导我们对超参数的调整。

常用的核函数有两种，一种是多项式核函数，另外一种是高斯核函数。

1.多项式核函数

数学表达式为：

$K(x_{i},x_{j})=(gamma x_{i}^{T}x_{j}+c)^{n}$ ，其中 $gamma$ 为正数， $C$ 非负，相对于线性和函数可以表达更复杂，非直线的分隔超平面。多项式阶数n不宜太高，否则模型求解困难，尤其当 $x_{i}cdot x_{j}> 1$ 时，经过n次方运算后，数值变得非常大，核函数因此而不稳定。

而线性核函数，即 $K(x_{i},x_{j})= x_{i}^{T}cdot x_{j}$ ，是多项式核函数在 $n=1,gamma =1,c=0$ 的特例，优点是简洁，缺点是对线性不可分数据集没有解决办法。

2. 高斯核函数

$K(x_{i},x_{j})=exp(frac{(x_{i}-x_{j})^{2}}{2sigma ^{2}})$ ,如果输入特征是一维标量，该函数的形状为钟形曲线，参数 $sigma$ 控制曲线的宽度（胖瘦）。

此核函数对应的特征转换函数 $phi (x)=$ $sum_{i=0}^{infty }exp(-x^{2})sqrt{frac{2^{i}}{i!}}x^{i}$ ，这个无限多累加器的意义就是把特征向量映射到无限维空间，也就是说，高斯函数可以把输入特征向量扩展到无限维度的空间里。高斯核函数计算出来的值永远在0到1之间。