西瓜书研读——第三章 线性模型：多元线性回归

3.2.3 多元线性回归

当输入属性有多个的时候，例如西瓜有色泽、根蒂和敲声等属性，每个西瓜的一系列属性标识为：
$${\mathbf{x}}_i=(x_{i1};x_{i2};...;x_{id})，y_i\in \mathbb{R}$$
则$w$ 有多个才能确定其预测标记
$$w=(w_1;w_2;\dots ;w_d)$$
所有的西瓜数据标识为：
D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } D=left{({x}_1,y_1), ({x}_2,y_2), ..., ({x}_m,y_m)right} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)}
则目标函数$y=wx+b$需要写成：
$$\begin{array}{rl}f({\mathbf{x}}_i)& ={\mathbf{w}}^T{\mathbf{x}}_i+b\\ & =w_1\ast x_{i1}+w_2\ast x_{i2}+\cdots +w_d\ast x_{id}+b\end{array}$$
使得$f({\mathbf{x}}_i)\simeq y_i$

问题求解

如何确定$\mathbf{w}$ 和$b$ ？

公式(3.4)是最小二乘法运用在一元线性回归上的情形，那么对于多元线性回归来说，我们可以类似得到
$$\begin{array}{rl}\left({\mathbf{w}}^{\ast },b^{\ast }\right)& =\underset{(\mathbf{w},b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(f\left({\mathbf{x}}_i\right)-y_i\right)}^2\\ & =\underset{(\mathbf{w},b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(y_i-f\left({\mathbf{x}}_i\right)\right)}^2\\ & =\underset{(\mathbf{w},b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(y_i-\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)}^2\end{array}$$

将权重与参数合为一个向量$\hat{\mathbf{w}}=(\mathbf{w};b)$，这里将b记为$w_d+1$，则$\hat{w}=(w_1;w_2;\dots ;w_d;w_{d+1}{)}^T$

相应的，把数据集$D$表示为一个$m\times (d+1)$ 大小的矩阵$\mathbf{X}$
$$\mathbf{X}=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \cdot \cdot \cdot & x_{1d}& 1\\ & & & & \\ x_{21}& x_{22}& \cdot \cdot \cdot & x_{2d}& 1\\ & & & & \\ ...& ...& ...& ...& ...\\ & & & & \\ x_{m1}& x_{m2}& \cdot \cdot \cdot & x_{md}& 1\\ & & & & \end{array}\right)=\left(\begin{array}{cc}{\mathbf{x}}_1^T& 1\\ & \\ {\mathbf{x}}_2^T& 1\\ & \\ ...& ...\\ & \\ {\mathbf{x}}_m^T& 1\\ & \end{array}\right)=\left(\begin{array}{c}{\hat{\mathbf{x}}}_1^T\\ \\ {\hat{\mathbf{x}}}_2^T\\ \\ ...\\ \\ {\hat{\mathbf{x}}}_m^T\\ \end{array}\right)$$

则$f({\hat{\mathbf{x}}}_i)$可以为
$$\begin{gathered} f({\hat{\mathbf{x}}}_i)=w_1\ast x_{i1}+w_2\ast x_{i2}+\cdots +w_d\ast x_{id}+b+w_{d+1}\ast 1 \\ ={\mathbf{w}}^T{\hat{\mathbf{x}}}_i \end{gathered}$$
则均方误差为：
$$\begin{gathered} E_{\hat{\mathbf{w}}}=\sum _{i=1}^m(y_i-f({\hat{\mathbf{x}}}_i){)}^2=\sum _{i=1}^m(y_i-{{\hat{w}}^T{\hat{x}}_i)}^2 \\ =\left[\begin{array}{ccc}{y}_1-{\hat{\mathbf{x}}}_1^{\mathrm{T}}\hat{\mathbf{w}}& \cdots & y_m-{\hat{\mathbf{x}}}_m^{\mathrm{T}}\hat{\mathbf{w}}\end{array}\right]\left[\begin{array}{c}{y}_1-{\hat{\mathbf{x}}}_1^{\mathrm{T}}\hat{\mathbf{w}}\\ ⋮\\ y_m-{\hat{\mathbf{x}}}_m^{\mathrm{T}}\hat{\mathbf{w}}\end{array}\right] \end{gathered}$$

其中
$$\begin{array}{rl}\left[\begin{array}{c}{y}_1-{\hat{\mathbf{x}}}_1^{\mathrm{T}}\hat{\mathbf{w}}\\ ⋮\\ y_m-{\hat{\mathbf{x}}}_m^{\mathrm{T}}\hat{\mathbf{w}}\end{array}\right]& =\left[\begin{array}{c}{y}_1\\ ⋮\\ y_m\end{array}\right]-\left[\begin{array}{c}{\hat{\mathbf{x}}}_1^{\mathrm{T}}\hat{\mathbf{w}}\\ ⋮\\ {\hat{\mathbf{x}}}_m^{\mathrm{T}}\hat{\mathbf{w}}\end{array}\right]\\ & =\mathbf{y}-\left[\begin{array}{c}{\hat{\mathbf{x}}}_1^{\mathrm{T}}\\ ⋮\\ {\hat{\mathbf{x}}}_m^{\mathrm{T}}\end{array}\right]\cdot \hat{\mathbf{w}}\\ & =\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}\end{array}$$
注意这个$\hat{w}$并不是一个数，而是一个m行的列向量

所以：
$$E_{\hat{\mathbf{w}}}={(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})\text{\hspace{1em}(3.9)}$$
求$\hat{w}$的最优解，先要补充一下知识

凸集：

定义：设集合$D\in R^n$, 如果对任意的$\mathbf{x}$,$\mathbf{y}\in D$与任意的$a\in [0,1]$,有$a\mathbf{x}+(1-a)\mathbf{y}\in D$, 则称集合 D 是凸集。

梯度：

梯度定义：设$\mathrm{n}$元函数$f(\mathbf{x})$对自变量$\mathbf{x}={\left(x_1,x_2,\dots ,x_n\right)}^T$的各分量$x_i$的偏导数$\frac{\partial f(\mathbf{x})}{\partial x_i}(i=1,2,\dots ,n)$都存在，则称函数$f(\mathbf{x})$在$\mathbf{x}$处一阶可导, 并称向量

$$\nabla f(\mathbf{x})=\left(\begin{array}{c}\frac{\partial f(\mathbf{x})}{\partial x_1}\\ \frac{\partial f(\mathbf{x})}{\partial x_2}\\ ⋮\\ \frac{\partial f(\mathbf{x})}{\partial x_n}\end{array}\right)$$
为函数$f(\mathbf{x})$ 在$\mathbf{x}$处的一阶导数或梯度, 记为$\nabla f(\mathbf{x})$(列向量)

Hessian矩阵

Hessian (海塞) 矩阵定义：设$\mathrm{n}$元函数$f(\mathbf{x})$对自变量$\mathbf{x}={\left(x_1,x_2,\dots ,x_n\right)}^T$的各 分量$x_i$的二阶偏导数$\frac{{\partial }^{2}f(\mathbf{x})}{\partial x_i\partial x_j}(i=1,2,\dots ,n;j=1,2,\dots ,n)$都存在，则称函数$f(\mathbf{x})$在 点$\mathbf{x}$处二阶可导, 并称矩阵为$f(\mathbf{x})$在$\mathbf{x}$处的二阶导数或Hessian矩阵，记为${\nabla }^{2}f(\mathbf{x})$，若$f(\mathbf{x})$对$\mathbf{x}$各变元 的所有二阶偏导数都连续, 则$\frac{{\partial }^{2}f(\mathbf{x})}{\partial x_i\partial x_j}=\frac{{\partial }^{2}f(\mathbf{x})}{\partial x_j\partial x_i}$此时${\nabla }^{2}f(\mathbf{x})$为对称矩阵。

$${\nabla }^{2}f(\mathbf{x})=\left[\begin{array}{cccc}\frac{{\partial }^{2}f(\mathbf{x})}{\partial x_1^2}& \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_n^2}\end{array}\right]$$

正定矩阵：给出一个n×n的矩阵A，如果对于任意长度为n的非零向量，都有$x^TAx>$0成立，则A是正定矩阵。等价于A的所有特征值都是正的。等价于A的顺序主子式都是正的。

也许你发现了这样一个事实，
$$f={\left(x_1+x_2\right)}^2+3{\left(x_2+x_3\right)}^2+x_3^2=y_1^2+3y_2^2+y_3^2\ge 0$$

当$y_1,y_2,y_3$不全为 0 时，这个二次型严格大于 0.

当 X 不是零向量的时候，就会有：$f=X^{\prime }AX>0$

我们将这样的二次型称为正定的，对称矩阵A 称为正定矩阵.

特别地，欧氏度量的平方就是最简单的正定二次型，其正定矩阵正是单位阵. 正如我们例子中的配方运算，将一般的正定二次型化为只含有平方项的二次型（对应对角矩阵）

• 一元正定二次型对应的图像正是开口朝上、顶点在原点的抛物线.

• 二元正定二次型对应的图像正是开口朝上、顶点在原点的抛物面.

于是，n 元正定二次型实际上就是 n 维空间内的抛物面.

给出一个n×n的矩阵A，如果对于任意长度为n的非零向量，都有$x^TAx>$0成立，则A是正定矩阵。等价于A的所有特征值都是正的。等价于A的顺序主子式都是正的。

多元实值函数凹凸性判定定理

设$D\subset R^n$是非空开凸集，$f:D\subset R^n\to R$，且$f(\mathbf{x})$在 D 上二阶连续可 微，如果$f(\mathbf{x})$的Hessian矩阵$\nabla f^2$ 在D上是正定的，则$f(\mathbf{x})$是 D 上的严格凸函数。

凸充分性定理

若$f:R^n\to R$是凸函数，且$f(\mathbf{x})$一阶连续可微，则${\mathbf{x}}^{\ast }$是全局解的充分必要 条件是$\nabla f\left({\mathbf{x}}^{\ast }\right)=0$，其中$\nabla f(\mathbf{x})$为$f(\mathbf{x})$关于$\mathbf{x}$的一阶导数（也称梯度）。

矩阵的微分公式

向量的微分公式

$$\begin{gathered} \frac{\partial y}{\partial x}=\left(\begin{array}{c}\frac{\partial y}{\partial x_1}\\ \frac{\partial y}{\partial x_2}\\ ⋮\\ \frac{\partial y}{\partial x_n}\end{array}\right) \\ \frac{\partial y}{\partial x}=\left(\begin{array}{cccc}\frac{\partial y}{\partial x_1}& \frac{\partial y}{\partial x_2}& \cdots & \frac{\partial y}{\partial x_n}\end{array}\right) \end{gathered}$$
默认采用分母布局，即第一种（第二种为分子布局）

其中,$\mathbf{x}={\left(x_1,x_2,\dots ,x_n\right)}^T$ 为$\mathrm{n}$维列向量,$y$ 为$\mathbf{C}$ 的$\mathrm{n}$ 元标量函数

由标量-向量的矩阵微分公式可推得:
$$\frac{\partial {\mathbf{x}}^T\mathbf{a}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}}=\left(\begin{array}{c}\frac{\partial \left(a_1{x}_1+a_2{x}_2+\dots +a_n{x}_n\right)}{\partial x_1}\\ \frac{\partial \left(a_1{x}_1+a_2{x}_2+\dots +a_n{x}_n\right)}{\partial x_2}\\ ⋮\\ \frac{\partial \left(a_1{x}_1+a_2{x}_2+\dots +a_n{x}_n\right)}{\partial x_n}\end{array}\right)=\left(\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right)=\mathbf{a}$$
正定矩阵微分公式：

行向量$y^T$ 对列向量$x$ 求导

注意$1\times n$ 向量对$m\times 1$ 向量求导后是$m\times n$ 矩阵。 将$y$ 的每一列对$x$ 求偏导, 将各列构成一个矩阵。
$$\frac{{\mathbf{dy}}^{\mathrm{T}}}{\mathrm{dx}}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial {\mathrm{x}}_1}& \frac{\partial y_2}{\partial {\mathrm{x}}_1}& \cdots & \frac{\partial y_n}{\partial {\mathrm{x}}_1}\\ \frac{\partial y_1}{\partial {\mathrm{x}}_2}& \frac{\partial y_2}{\partial {\mathrm{x}}_2}& \cdots & \frac{\partial y_n}{\partial {\mathrm{x}}_2}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_1}{\partial {\mathrm{x}}_{\mathrm{m}}}& \frac{\partial y_2}{\partial {\mathrm{x}}_{\mathrm{m}}}& \cdots & \frac{\partial y_n}{\partial {\mathrm{x}}_{\mathrm{m}}}\end{array}\right]$$

$$\begin{array}{l}\frac{d{\mathbf{x}}^T}{d\mathbf{x}}=\mathbf{I}\\ \frac{d(\mathbf{Ax}{)}^{\mathrm{T}}}{\mathrm{dx}}={\mathbf{A}}^{\mathrm{T}}\end{array}$$

有了上述理论支撑，我们总结下求损失函数最优解的步骤：

1. 证明损失函数是凸函数
2. 求损失函数关于$\hat{w}$的一阶导数（梯度）
3. 令一阶导数等于0，解出${\hat{w}}^{\ast }$

证明损失函数是凸函数
$$\begin{array}{rl}\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}& =\frac{\partial }{\partial \hat{\mathbf{w}}}\left[(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})\right]\\ & =\frac{\partial }{\partial \hat{\mathbf{w}}}\left[\left({\mathbf{y}}^T-{\hat{\mathbf{w}}}^T{\mathbf{X}}^T\right)(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})\right]\\ & =\frac{\partial }{\partial \hat{\mathbf{w}}}\left[{\mathbf{y}}^T\mathbf{y}-{\mathbf{y}}^T\mathbf{X}\hat{\mathbf{w}}-{\hat{\mathbf{w}}}^T{\mathbf{X}}^T\mathbf{y}+{\hat{\mathbf{w}}}^T{\mathbf{X}}^T\mathbf{X}\hat{\mathbf{w}}\right]\\ & =\frac{\partial {\mathbf{y}}^{\mathrm{T}}\mathbf{y}}{\partial \hat{\mathbf{w}}}-\frac{\partial {\mathbf{y}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}}{\partial \hat{\mathbf{w}}}-\frac{\partial {\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}}{\partial \hat{\mathbf{w}}}+\frac{\partial {\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}}{\partial \hat{\mathbf{w}}}\end{array}$$
由矩阵微分公式

$$\frac{\partial {\mathbf{a}}^{\mathrm{T}}\mathbf{x}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{a}}{\partial \mathbf{x}}=\mathbf{a},\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=(\mathbf{A}+{\mathbf{A}}^{\mathrm{T}})\mathbf{x}$$

$$(X^{T}X{)}^T=X^T(X^T{)}^T=X^{T}X$$

得：
$$\begin{gathered} \frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=0-{\mathbf{X}}^{\mathrm{T}}\mathbf{y}-{\mathbf{X}}^{\mathrm{T}}\mathbf{y}+({\mathbf{X}}^{\mathrm{T}}\mathbf{X}+{\mathbf{X}}^{\mathrm{T}}\mathbf{X})\hat{\mathbf{w}} \\ =2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})\text{\hspace{1em}(3.10)} \end{gathered}$$
再求二阶偏导数
$$\begin{array}{rl}\frac{{\partial }^2{E}_{\hat{\mathbf{w}}}}{\partial {\hat{\mathbf{w}}}^2}& =\frac{\partial }{\partial \hat{w}}(\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}})\\ & =\frac{\partial }{\partial \hat{w}}(2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-2X^T\mathbf{y}))\\ & =2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\end{array}$$
上式即为Hessian矩阵，当然Hessian矩阵并不一定是正定矩阵，因为我们输入的数据不同，不经过处理是不能判断正定的，但西瓜书上直接假设了是正定的，然后可以利用凸充分性定理来解出$\hat{w}$

以上证明了$E_{\hat{\mathbf{w}}}$为凸函数，下面让一阶导数等于0，即
$$\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-2X^T\mathbf{y}=0$$

$${\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}=X^T\mathbf{y}$$

两边同乘$({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}$，得
$$\hat{\mathbf{w}}=({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{X}^T\mathbf{y}\text{\hspace{1em}(3.11)}$$

• 令${\hat{\mathbf{x}}}_i=({\mathbf{x}}_i;1)$，则最终学得的多元线性回归模型为
  $$\begin{gathered} f({\hat{\mathbf{x}}}_i)={\mathbf{w}}^T{\hat{\mathbf{x}}}_i \\ ={\hat{\mathbf{x}}}_i^{\mathbf{T}}({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y} \end{gathered}$$

$\mathbf{X}$不为满秩矩阵或不是正定矩阵时，可解出多个$\hat{\mathbf{w}}$，它们都能使均方误差最小化

选择哪一个解是依据学习算法的归纳偏好决定（1.4节）的，最常见的做法就是引入正则化（4.4、11.4节）

• 主要教材为西瓜书，结合南瓜书，统计学习方法，B站视频整理~

• 人群定位：学过高数会求偏导、线代会矩阵运算、概率论知道啥是随机变量

• 原理讲解，公式推导，课后习题，实践代码应有尽有，欢迎订阅

• 代码实践部分将发布于公众号 小白白学技术

• 获取多资料 关注公众号 小白白学技术

最后

以上就是温柔早晨为你收集整理的西瓜书研读——第三章 线性模型：多元线性回归的全部内容，希望文章能够帮你解决西瓜书研读——第三章 线性模型：多元线性回归所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。