回归系列(一) 线性回归问题回归学习(一)：线性回归问题

回归学习(一)：线性回归问题

0、本系列目的

有知识的输入，必然要进行输出，来对知识进行更近一步的理解。本系列作为自己对回归进行理论学习之后的输出部分，以此来加深自己对回归理论的理解。

1、什么是回归任务

抛开实际问题不看，现有 $n$ 个自变量与函数值对 { ( X 1 , y 1 ) , ( X 2 , y 2 ) , . . . , ( X n , y n ) } { (X_1,y_1),(X_2,y_2) ,...,(X_n,y_n)} {(X1​,y1​),(X2​,y2​),...,(Xn​,yn​)}组成的样本。但是我们不知道函数$y=f(X)$的表达式，所以我们可以根据样本对$f(X)$进行估计。即利用样本对未知函数进行适宜的拟合。
$$y=f(X)+\xi \text{\hspace{1em}(1)}$$
其中，$\xi$为引入的噪声。

2 、一维线性回归

顾名思义，所谓线性会就就是利用线性模型对未知函数$f(X)$进行表示，即
$$y=w^{T}X+b\text{\hspace{1em}(2)}$$
1中讲到利用样本对函数进行适宜的拟合，到底怎么个适宜法？。在线性模型中，一般认为是以$X_i$作为输入，$y=w^T{X}_i+b$作为输出时，选取合适的$w$与$b$，使得参考的$y_i$与$y$之间的差距最小，即
$$\underset{w,b}{\mathrm{argmin}}(y,y_i)\text{\hspace{1em}(3)}$$
而对于回归问题，我们衡量线性模型的估计值与真实模型之间的差距时，常常使用均方误差来衡量，即
$$\underset{w,b}{\mathrm{argmin}}(\sum _{i=1}^n(y-y_i{)}^2)=\underset{w,b}{\mathrm{argmin}}(\sum _{i=1}^n(y_i-(w^T{X}_i+b){)}^2\text{\hspace{1em}(4)}$$
所以，显而易见，对于$X_i$是1维变量的情况，我们只需要将$(4)$式，分别对$w$以及$b$求偏导，即可得出理论上的结果,比较简单，不给出多余的推导。

3 、多元线性回归

当$X_i$是多维变量时，$(4)$式中的求解便成为了最小二乘问题，我们使用$w$与$b$构成增广向量$W=(w,b)$，并将自变量也进行1增广为$X_i^{{}^{\prime }}=(X_i,1)$。则根据最小二乘问题的解法，令 X ′ = { X 1 ′ , X 2 ′ , . . . , X n ′ } X^{'}={X^{'}_1,X^{'}_2,...,X^{'}_n} X′={X1′​,X2′​,...,Xn′​}，令 Y = { y 1 ; y 2 ; . . . ; y n } Y={y_1;y_2;...;y_n} Y={y1​;y2​;...;yn​}。将增广之后的$W$与矩阵$X^{{}^{\prime }}$带入$(4)$式，并将加法转化为矩阵运算，得到
$$原式=\underset{w,b}{\mathrm{argmin}}(Y-X^{{}^{\prime }}W{)}^T(Y-X^{{}^{\prime }}W)\text{\hspace{1em}(5)}$$
求最小值，则将$(5)$式对$W$求导，得
$$\frac{\partial (5)}{\partial (W)}={2X^{{}^{\prime }}}^T(X^{{}^{\prime }}W-Y)\text{\hspace{1em}(6)}$$
令$(6)$式等于0，则可得出$W$得理论解为
$$W=({X^{{}^{\prime }}}^T{X}^{{}^{\prime }}{)}^{-1}{X^{{}^{\prime }}}^{T}Y\text{\hspace{1em}(7)}$$
将$(7)$式代入$(2)$式中，即得到多元线性回归函数模型为
$$f(X_i^{{}^{\prime }})={X_i^{{}^{\prime }}}^T({X^{{}^{\prime }}}^T{X}^{{}^{\prime }}{)}^{-1}{X^{{}^{\prime }}}^{T}Y$$
当然，当${X^{{}^{\prime }}}^T{X}^{{}^{\prime }}$不满秩时，需要引入正则项。

以上就是回归理论系列的第一个内容：线性回归。后续会继续学习线性回归的变式：对数回归。以及SVM回归与高斯过程回归。

最后

以上就是美满鸵鸟为你收集整理的回归系列(一) 线性回归问题回归学习(一)：线性回归问题的全部内容，希望文章能够帮你解决回归系列(一) 线性回归问题回归学习(一)：线性回归问题所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。