3.1基本形式

通过属性的线性组合来进行预测的函数，即

$$f(\mathbf{x})=w_1{x}_1+w_2{x}_2+\dots +w_d{x}_d+b$$

$$f(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$

线性模型具有很好的可解释性（可理解性），通过权重的大小可以判断属性的重要性

3.2线性回归

线性回归(linear regression)

学得一个线性模型尽可能准确地预测实值输出标记

数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } D=left{left(boldsymbol{x}_{1}, y_{1}right),left(boldsymbol{x}_{2}, y_{2}right), ldots,left(boldsymbol{x}_{m}, y_{m}right)right} D={(x1​,y1​),(x2​,y2​),…,(xm​,ym​)}

${\mathbf{x}}_i=(x_{i1}{x}_{i2};\dots ;x_{id}),y_i\in \mathbb{R}$

属性的处理

线性回归中处理的属性都是实数值，所以针对离散属性需要转换

• 属性间存在"序"(order)关系
  • 通过连续化将其转化为连续值
    • 例:高度的高中低，可转换为{1.0,0.5,0.0}
• 属性间不存在序关系
  • k个属性值，直接转换为k维向量
  • 例：瓜类的取值，西瓜、南瓜、黄瓜，转换为(0,0,1),(0,1,0),(1,0,0)

无序属性直接连续化处理，可能会引入不恰当的序关系

线性回归 v.s. 正交回归

线性回归最小化蓝色误差
正交回归最小化红色误差

线性回归的公式推导

下面以单属性为例

线性回归的目标

$$f\left(x_i\right)=w{x}_i+b,\text{ 使得 }f\left(x_i\right)\simeq y_i$$

最小二乘法理解

• 基于均方误差最小化来进行模型求解
  • 均方误差也称为平方损失
  • 有很好的集合意义，对应了欧几里得距离(欧式距离)
• 思想
  • 试图找到一条直线，使得样本到直线上的欧式距离之和最小
• 应用范围
  • 用途很广，不仅限于线性回归

两个角度看最小二乘法

• 数学角度：最小化均方误差
• 集合角度：最小化点到直线平行y轴的距离

优化公式

$$\begin{array}{rl}\left(w^{\ast },b^{\ast }\right)& =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2\\ & =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2\end{array}$$

其中$w^{\ast }$,$b^{\ast }$分别代表$w$和$b$的解

补充说明

• arg: argument
• min: minimum

$argmin$ v.s. $min$

• $argmin$ 代表使目标函数达到最小值的参数取值
• $min$ 代表的是目标函数的最小值

$$\begin{array}{l}{\min }_{(w,b)}{\sum }_{i=1}^m{\left(y_i-w{x}_i-b\right)}^2\\ \text{ s.t. }w>0\\ b<0\end{array}$$

• 在指定范围内求目标函数的最小值
  • $s.t.$是subject to, 受约束于，即为约束条件

求解$w$和$b$使$E_{(w,b)}={\sum }_{i=1}^m{\left(y_i-w{x}_i-b\right)}^2$最小化的过程，称为线性回归模型的最小二乘"参数估计"

极大似然估计理解

一个变量由很多独立变量加和之后得到的情况下，可以认为该变量符合正态分布

针对线性回归，假设

$$y=wx+b-ϵ$$

其中$ϵ$代表的是不受控制的随机误差，通常假设服从均值为0的正态分布$ϵ\sim N\left(0,{\sigma }^2\right)$

所以$ϵ$的概率密度为

$$p(ϵ)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{ϵ}^2}{2{\sigma }^2}\right)$$

将$ϵ$替换成$y-(wx+b)$，之后得到的式子，可以将y看成随机变量，即得到了y的概率密度函数

$$p(y)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(y-(wx+b){)}^2}{2{\sigma }^2}\right)$$

总结下，上述过程，通过对$ϵ$进行建模，进而得到$y$的建模, $y\sim N\left(wx+b,{\sigma }^2\right)$

接下来使用极大似然估计，来估计$w$和$b$

$$\begin{array}{rl}L(w,b)=& \prod _{i=1}^{m}p\left(y_i\right)=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left(y_i-\left(w{x}_i+b\right)\right)}^2}{2{\sigma }^2}\right)\\ \ln L(w,b)& =\sum _{i=1}^m\ln \frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left(y_i-w{x}_i-b\right)}^2}{2{\sigma }^2}\right)\\ & =\sum _{i=1}^m\ln \frac{1}{\sqrt{2\pi }\sigma }+\sum _{i=1}^m\ln \exp \left(-\frac{{\left(y_i-w{x}_i-b\right)}^2}{2{\sigma }^2}\right)\\ & =m\ln \frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2{\sigma }^2}\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2\end{array}$$

其中$m$和$\sigma$均为常数，所以最大化 $\ln L(w,b)$ 等价于最小化 $ sum_{i=1}^{m}left(y_{i}-w x_{i}-bright)^{2}$

$$\left(w^{\ast },b^{\ast }\right)=\underset{(w,b)}{\mathrm{argmax}}\ln L(\mathbf{w},b)=\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2$$

所以极大似然估计和最小二乘法的目标是相同的

数学概念

n元实值函数

含有$n$个自变量，值域为实数域$\mathbb{R}$的函数，称为n元实值函数

（多元函数未加特殊说明均为实值函数)

凸集

设集合 $D\subset {\mathbb{R}}^n$ 为 $n$ 维欧式空间中的子集

如果对 $D$ 中任意的 $n$ 维向量 $\mathbf{x}\in D$ 和 $\mathbf{y}\in D$ 与 任意的 $\alpha \in [0,1]$ , 有

$$\alpha \mathbf{x}+(1-\alpha )\mathbf{y}\in D$$

则称集合 $D$ 是凸集

凸集的几何意义

• 若两个点属于此集合, 则这两点连线上的任意一点均属于此集合
• 常见的凸集有空集 $\varnothing$ , 整个 $n$ 维欧式空间 $mathbb{R}^{n} $

凸函数

对于区间$[a,b]$上定义的函数$f$，若对区间中任意两点$x_1,x_2$均有

$$f\left(\frac{x_1+x_2}{2}\right)⩽\frac{f\left(x_1\right)+f\left(x_2\right)}{2}$$

则称$f$为区间$[a,b]$上的凸函数

• U形曲线的函数通常是凸函数

  • 例:$y=x^2$

• (在高等数学定义中称之为凹函数)

梯度

分母布局

$$\nabla f(\mathbf{x})=\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial f(\mathbf{x})}{\partial x_1}\\ \frac{\partial f(\mathbf{x})}{\partial x_2}\\ ⋮\\ \frac{\partial f(\mathbf{x})}{\partial x_n}\end{array}\right]$$

分子布局

$$\nabla f(\mathbf{x})=\frac{\partial f(\mathbf{x})}{\partial {\mathbf{x}}^{\mathrm{T}}}=\left[\frac{\partial f(\mathbf{x})}{\partial x_1},\frac{\partial f(\mathbf{x})}{\partial x_2},\cdots ,\frac{\partial f(\mathbf{x})}{\partial x_n}\right]$$

• 梯度指向的方向是函数值增大速度最快的方向
• 在最优化中习惯采用分母布局

Hessian矩阵

$${\nabla }^{2}f(\mathbf{x})=\frac{{\partial }^{2}f(\mathbf{x})}{\partial \mathbf{x}\partial {\mathbf{x}}^T}=\left[\begin{array}{cccc}\frac{{\partial }^{2}f(\mathbf{x})}{\partial x_1^2}& \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_n\partial x_2}& \dots & \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_n^2}\end{array}\right]$$

• 二阶偏导数均连续，$\frac{{\partial }^{2}f(\mathbf{x})}{\partial x_i\partial x_j}=\frac{{\partial }^{2}f(\mathbf{x})}{\partial x_j\partial x_i}$

凸函数的判断

对于实数集上的函数

二阶导数

• 在区间上非负，称为凸函数
• 在区间上恒大于0，称为严格凸函数

闭式解/解析解

可以通过具体的表达式解出待解参数

机器学习算法很少有闭式解，线性回归是一个特例

标量-向量的矩阵微分公式

设 $\mathbf{x}\in {\mathbb{R}}^{n\times 1},f:{\mathbb{R}}^n\to \mathbb{R}$ 为关于 $\mathbf{x}$ 的实值标量函数, 则

$$\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial f(\mathbf{x})}{\partial x_1}\\ \frac{\partial f(\mathbf{x})}{\partial x_2}\\ ⋮\\ \frac{\partial f(\mathbf{x})}{\partial x_n}\end{array}\right],\frac{\partial f(\mathbf{x})}{\partial {\mathbf{x}}^{\mathrm{T}}}=\left(\begin{array}{llll}\frac{\partial f(\mathbf{x})}{\partial x_1}& \frac{\partial f(\mathbf{x})}{\partial x_2}& \cdots & \frac{\partial f(\mathbf{x})}{\partial x_n}\end{array}\right)$$

左侧为分母布局，右侧为分子布局

矩阵分析/矩阵微分

对向量/矩阵进行求导，求一阶偏导之后按照不同的规则，将得到结果进行排列

单变量线性回归

求解过程

第一步：$E_{(w,b)}$是关于$w$和$b$的凸函数

证明$E_{(w,b)}={\sum }_{i=1}^m{\left(y_i-w{x}_i-b\right)}^2$ 的Hessian (海塞) 矩阵是半正定的

$${\nabla }^2{E}_{(w,b)}=\left[\begin{array}{ll}\frac{{\partial }^2{E}_{(w,b)}}{\partial w^2}& \frac{{\partial }^2{E}_{(w,b)}}{\partial w\partial b}\\ \frac{{\partial }_{(w,b)}}{\partial b\partial w}& \frac{{\partial }^2{E}_{(w,b)}}{\partial b^2}\end{array}\right]=\left[\begin{array}{cc}2{\sum }_{i=1}^m{x}_i^2& 2{\sum }_{i=1}^m{x}_i\\ 2{\sum }_{i=1}^m{x}_i& 2m\end{array}\right]$$

利用半正定矩阵的判别定理之一：若实对称矩阵的所有顺序主子式均为非负，则该矩阵为半正定矩阵

$$\begin{array}{l}\left|2{\sum }_{i=1}^m{x}_i^2\right|>0\\ \left|\begin{array}{cc}2{\sum }_{i=1}^m{x}_i^2& 2{\sum }_{i=1}^m{x}_i\\ 2{\sum }_{i=1}^m{x}_i& 2m\end{array}\right|=2{\sum }_{i=1}^m{x}_i^2\cdot 2m-2{\sum }_{i=1}^m{x}_i\cdot 2{\sum }_{i=1}^m{x}_i\\ =4m{\sum }_{i=1}^m{x}_i^2-4{\left({\sum }_{i=1}^m{x}_i\right)}^2\end{array}$$

$$\begin{array}{c}4m{\sum }_{i=1}^m{x}_i^2-4{\left({\sum }_{i=1}^m{x}_i\right)}^2\\ \\ =4m{\sum }_{i=1}^m{x}_i^2-4\cdot m\cdot \frac{1}{m}\cdot {\left({\sum }_{i=1}^m{x}_i\right)}^2\\ \\ =4m{\sum }_{i=1}^m{x}_i^2-4m\cdot \bar{x}\cdot {\sum }_{i=1}^m{x}_i\\ \\ =4m\left({\sum }_{i=1}^m{x}_i^2-{\sum }_{i=1}^m{x}_i\bar{x}\right)\\ \\ =4m{\sum }_{i=1}^m\left(x_i^2-x_i\bar{x}\right)\\ \\ \text{ 由于 }{\sum }_{i=1}^m{x}_i\bar{x}=\bar{x}{\sum }_{i=1}^m{x}_i=\bar{x}\cdot m\cdot \frac{1}{m}\cdot {\sum }_{i=1}^m{x}_i=m{\bar{x}}^2={\sum }_{i=1}^m{\bar{x}}^2\\ \\ =4m{\sum }_{i=1}^m\left(x_i^2-x_i\bar{x}-x_i\bar{x}+x_i\bar{x}\right)=4m{\sum }_{i=1}^m\left(x_i^2-x_i\bar{x}-x_i\bar{x}+{\bar{x}}^2\right)=4m{\sum }_{i=1}^m{\left(x_i-\bar{x}\right)}^2\end{array}$$

所以 $4m{\sum }_{i=1}^m{\left(x_i-\bar{x}\right)}^2⩾0$ , Hessian (海塞) 矩阵 ${\nabla }^2{E}_{(w,b)}$ 的所有顺序主子式均非负, 该矩阵为半正定矩阵, 进而 $E_{(w,b)}$ 是关于 $w$ 和 $b$ 的凸函数得证。

第二步：用凸函数求最值的思路，令$w$和$b$的导数均为0，得到w和b的最优解的闭式(closed-form)解，$w^{\ast }$和$b^{\ast }$

$$\begin{array}{l}\frac{\partial E_{(w,b)}}{\partial w}=2\left(w{\sum }_{i=1}^m{x}_i^2-{\sum }_{i=1}^m\left(y_i-b\right)x_i\right)\\ \frac{\partial E_{(w,b)}}{\partial b}=2\left(mb-{\sum }_{i=1}^m\left(y_i-w{x}_i\right)\right)\end{array}$$

$$\begin{gathered} w=\frac{{\sum }_{i=1}^m{y}_i\left(x_i-\bar{x}\right)}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}{\left({\sum }_{i=1}^m{x}_i\right)}^2} \\ b=\frac{1}{m}\sum _{i=1}^m\left(y_i-w{x}_i\right) \end{gathered}$$

若令 $\mathbf{x}=\left(x_1;x_2;\dots ;x_m\right),{\mathbf{x}}_d=\left(x_1-\bar{x};x_2-\bar{x};\dots ;x_m-\bar{x}\right)$ 为去均值后的 $\mathbf{x}$ ;

$\mathbf{y}=\left(y_1;y_2;\dots ;y_m\right),{\mathbf{y}}_d=\left(y_1-\bar{y};y_2-\bar{y};\dots ;y_m-\bar{y}\right)$ 为去均值后的 $\mathbf{y}$

化简之后，可以使用矩阵乘法得到的$w$结果

$$w=\frac{{\mathbf{x}}_d^{\mathrm{T}}{\mathbf{y}}_d}{{\mathbf{x}}_d^{\mathrm{T}}{\mathbf{x}}_d}$$

多元线性回归

为方便式子进行化简

将$b$吸收入$w$中得到$\hat{\mathbf{w}}=(\mathbf{w};b)$

同时对$x$进行整理

$$\mathbf{X}=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \dots & x_{1d}& 1\\ x_{21}& x_{22}& \dots & x_{2d}& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& \dots & x_{md}& 1\end{array}\right)=\left(\begin{array}{cc}{x}_1^{\mathrm{T}}& 1\\ x_2^{\mathrm{T}}& 1\\ ⋮& ⋮\\ x_m^{\mathrm{T}}& 1\end{array}\right)$$

同时将标记写成向量形式$\mathbf{y}=\left(y_1;y_2;\dots ;y_m\right)$

最终求解的目标写成

$${\hat{\mathbf{w}}}^{\ast }=\underset{\hat{\mathbf{w}}}{\mathrm{argmin}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$

该式子的化简过程

具体如下：

$$E_{\hat{\mathbf{w}}}=\sum _{i=1}^m{\left(y_i-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_i\right)}^2={\left(y_1-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_1\right)}^2+{\left(y_2-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_2\right)}^2+\dots +{\left(y_m-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_m\right)}^2$$

$$E_{\hat{\mathbf{w}}}=\left(\begin{array}{cccc}{y}_1-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_1& y_2-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_2& \cdots & y_m-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_m\end{array}\right)\left(\begin{array}{c}{y}_1-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_1\\ y_2-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_2\\ ⋮\\ y_m-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_m\end{array}\right)$$

$$\left(\begin{array}{c}{y}_1-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_1\\ y_2-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_2\\ ⋮\\ y_m-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_m\end{array}\right)=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right)-\left(\begin{array}{c}{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_1\\ {\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_2\\ ⋮\\ {\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_m\end{array}\right)=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right)-\left(\begin{array}{c}{\hat{\mathbf{x}}}_1^{\mathrm{T}}\hat{\mathbf{w}}\\ {\hat{\mathbf{x}}}_2^{\mathrm{T}}\hat{\mathbf{w}}\\ ⋮\\ {\hat{\mathbf{x}}}_m^{\mathrm{T}}\hat{\mathbf{w}}\end{array}\right)$$

$$\mathbf{y}=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right),\left(\begin{array}{c}{\hat{\mathbf{x}}}_1^{\mathrm{T}}\hat{\mathbf{w}}\\ {\hat{\mathbf{x}}}_2^{\mathrm{T}}\hat{\mathbf{w}}\\ ⋮\\ {\hat{\mathbf{x}}}_m^{\mathrm{T}}\hat{\mathbf{w}}\end{array}\right)=\left(\begin{array}{c}{\hat{\mathbf{x}}}_1^{\mathrm{T}}\\ {\hat{\mathbf{x}}}_2^{\mathrm{T}}\\ ⋮\\ {\hat{\mathbf{x}}}_m^{\mathrm{T}}\end{array}\right)\cdot \hat{\mathbf{w}}=\left(\begin{array}{cc}{\mathbf{x}}_1^{\mathrm{T}}& 1\\ {\mathbf{x}}_2^{\mathrm{T}}& 1\\ ⋮& ⋮\\ {\mathbf{x}}_m^{\mathrm{T}}& 1\end{array}\right)\cdot \hat{\mathbf{w}}=\mathbf{X}\cdot \hat{\mathbf{w}}$$

$$\left(\begin{array}{c}{y}_1-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_1\\ y_2-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_2\\ ⋮\\ y_m-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_m\end{array}\right)=\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}$$

$$\begin{array}{l}{E}_{\hat{\mathbf{w}}}=\left(\begin{array}{cccc}{y}_1-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_1& y_2-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_2& \cdots & y_m-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_m\end{array}\right)\left(\begin{array}{c}{y}_1-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_1\\ y_2-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_2\\ ⋮\\ y_m-{\hat{\mathbf{w}}}^{\mathrm{T}}{\hat{\mathbf{x}}}_m\end{array}\right)\\ E_{\hat{\mathbf{w}}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})\end{array}$$

求解$\hat{w}$

1. 证明 $E_{\hat{\mathbf{w}}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$ 是关于 $hat{boldsymbol{w}} $ 的凸函数
2. 用凸函数求最值的思路求解出 $\hat{\mathbf{w}}$

求 $E_{hat{w}} $ 的Hessian (海塞) 矩阵 ${\nabla }^2{E}_{\hat{\mathbf{w}}}$ , 然后判断其正定性:

$$\begin{array}{rl}\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}& =\frac{\partial }{\partial \hat{\mathbf{w}}}\left[(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})\right]\\ & =\frac{\partial }{\partial \hat{\mathbf{w}}}\left[\left({\mathbf{y}}^{\mathrm{T}}-{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\right)(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})\right]\\ & =\frac{\partial }{\partial \hat{\mathbf{w}}}\left[{\mathbf{y}}^{\mathrm{T}}\mathbf{y}-{\mathbf{y}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}+{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}\right]\\ & =\frac{\partial }{\partial \hat{\mathbf{w}}}\left[-{\mathbf{y}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}+{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}\right]\\ & =-\frac{\partial {\mathbf{y}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}}{\partial \hat{\mathbf{w}}}-\frac{\partial {\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}}{\partial \hat{\mathbf{w}}}+\frac{\partial {\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}}{\partial \hat{\mathbf{w}}}\end{array}$$

利用矩阵微分公式

$$\frac{\partial x^{\mathrm{T}}\mathbf{a}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{a}}^{\mathrm{T}}\mathbf{x}}{\partial \mathbf{x}}=\mathbf{a}$$

$$\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=\left(\mathbf{A}+{\mathbf{A}}^{\mathrm{T}}\right)\mathbf{x}$$

$$\frac{\partial \mathbf{A}\mathbf{x}}{\mathbf{x}}={\mathbf{A}}^{\mathrm{T}}$$

可以得到

$$\begin{array}{rl}\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}& =-{\mathbf{X}}^T\mathbf{y}-{\mathbf{X}}^T\mathbf{y}+\left({\mathbf{X}}^T\mathbf{X}+{\mathbf{X}}^T\mathbf{X}\right)\hat{\mathbf{w}}\\ & =2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})\end{array}$$

$$\begin{array}{rl}{\nabla }^2{E}_{\hat{\mathbf{w}}}& =\frac{\partial }{\partial \hat{\mathbf{w}}}\left(\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}\right)\\ & =\frac{\partial }{\partial \hat{\mathbf{w}}}\left[2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})\right]\\ & =\frac{\partial }{\partial \hat{\mathbf{w}}}\left(2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-2{\mathbf{X}}^{\mathrm{T}}\mathbf{y}\right)\\ & =2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\end{array}$$

对$ mathbf{X}^{mathrm{T}} mathbf{X}$分情况讨论

1）为满秩矩阵或者正定矩阵时

$$\begin{array}{c}\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})=0\\ 2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-2{\mathbf{X}}^{\mathrm{T}}\mathbf{y}=0\\ 2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}=2{\mathbf{X}}^{\mathrm{T}}\mathbf{y}\\ \hat{\mathbf{w}}={\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}\end{array}$$

得到的线性回归模型为$f\left({\hat{\mathbf{x}}}_i\right)={\hat{\mathbf{x}}}_i^{\mathrm{T}}{\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}$

2)不为满秩矩阵时

会有多个$\hat{w}$的解，此时选择哪儿个解，由学习算法的归纳偏好决定，常见的做法是引入正则化

广义线性模型

$$y=g^{-1}\left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right)$$

• $ g(·)$
  • 为单调可微函数，同时连续且充分光滑
  • 称为联系函数

对数线性回归

$$\ln y={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$

形式为线性回归，本质是让$y$接近$e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}$

求取输入空间到输出空间的非线性映射

最后

以上就是精明鞋子为你收集整理的【机器学习-西瓜书】-第3章-线性回归-学习笔记-上3.1基本形式3.2线性回归的全部内容，希望文章能够帮你解决【机器学习-西瓜书】-第3章-线性回归-学习笔记-上3.1基本形式3.2线性回归所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。