KNN算法--基本分类和回归方法

KNN算法--基本分类和回归方法。

1. 是什么

给定一个训练数据集(test_set)

对新的输入实例

在训练集(train_set)中找到与该实例距离最近的k个数据集

这k个数据集的大多数属于哪个类型的，那么这个实例就是那个分类。 如图一所示

举一个不恰当的例子：如果你的身边都是百万富翁，那你的资产大概率也不少。

2. k值的选取以及影响

2.1 k值过小，导致过拟合

如图所示,当k值选择最小为1时，五边形直接属于黑色，但你从感官上看五边形应该属于方块啊。这就是过拟合。

2.2 k值过大，模型简单，预测失误

极端的例子：选取整个训练集的长度为k值。你会发现五边形永远属于个数最多的类别。

2.3 特征归一化

首先我们先来看这样一个例子： 5个训练样本：

| 序号 | 身高 | 体重 | 分类 | | :---: | :---: | :---: | :---: | | 1 | 179 | 42 | 男 | | 2 | 178 | 43 | 男 | | 3 | 165 | 36 | 女 | | 4 | 177 | 42 | 男 | | 5 | 160 | 35 | 女 |

给出测试样本： 6(167，43)

选定k=3 计算距离：

6-1=$$sqrt{145}$$

6-2=$$sqrt{121}$$

6-3=$$sqrt{53}$$

6-4=$$sqrt{101}$$

6-5=$$sqrt{103}$$

由此发现 最近的为3，4，5。因为两女一男，我们推断样本属于女。 但是你会发现一个女性的脚为43码远远小于男性的脚为43码，

这里就是因为身高的数值比脚的数值大或者说是量纲大。因此导致身高的重要性远远大于脚码。 这也就是归一化的原因。

数据归一化的处理方式有很多，比如：0-1标准化，Z-score标准化，Sigmoid压缩法。 这里介绍一个比较简单的0-1标准化，公式：

MIN为改特征下的最小值，如身高的MIN为160；

MAX为该特征下的最大值，如身高的MAX为179

$$x_normalization=frac{x-MIN}{MAX-MIN}$$

上面的测试数据经过0-1标准归一化变为

| 序号 | 身高 | 体重 | 分类 | | :---: | :---: | :---: | :---: | | 1 | 1 | 0.875 | 男 | | 2 | 0.95 | 1 | 男 | | 3 | 0.26 | 0.125 | 女 | | 4 | 0.89 | 0.875 | 男 | | 5 | 0 | 0 | 女 |

举例 身高：

1=$$frac{179-160}{179-160}$$=1 2=$$frac{179-160}{179-160}$$=0.95

体重

1=1=$$frac{42-35}{43-35}$$=0.875

距离的度量

主要包括以下几种度量方式

案例-预测癌症

预测癌症