线性模型

• 1. 基本形式

即已知x,y通过机器学习的算法求得w与b

• 2.线性回归

• 2.1 问题描述

• 2.2 一元线性回归

• 2.2.1 问题描述

只有一个属性，即d=1
w，b为单个的数

• 2.2.2 目标函数

均方误差对应了常用的欧几里得距离简称“欧氏距离”，基于均方误差最小化来进行模型求解的方法称为“最小二乘法”

• 2.2.3 目标函数求解与证明

• 2.2.4 模拟实验

• 方法一

随机生成一些先行数据集

import numpy as np
from matplotlib import pyplot as plt
x=2*np.random.rand(100,1)
y=4 + 3*x + np.random.rand(100,1)
plt.scatter(x,y,s=10,color='g',marker='*',alpha=0.4)
y=range(0,16,2)
plt.yticks(y)
plt.xlabel('X1')
plt.ylabel('y')
plt.show()

使用标准方程来计算θ^，使用numpy的线性代数模块(np.linalg)中的inv()函数来对矩阵求逆，并用dot()方法计算矩阵的内积：

import numpy as np
from matplotlib import pyplot as plt
X=2*np.random.rand(100,1)
X=np.matrix(X)
y=4 + 3*X + np.random.rand(100,1)
y=np.matrix(y)
X_b=np.c_[np.ones((100, 1)), X]
theta_best=np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y)
print(theta_best)

实际用来生成数据的函数是y=4+3*x1+高斯噪声
实验的公式结果

[[4.49764198]
 [2.95571874]]

非常接近，噪声的存在，其不可能完全还原为原本的函数
现在用θ^做出预测

X_new=np.array([[0],[2]])
X_new_b=np.c_[np.ones((2,1)),X_new]

y_predict=X_new_b.dot(theta_best)

plt.plot(X_new,y_predict,'r-')
plt.plot(X,y,'b.')
plt.axis([0,2,0,15])
plt.show()

• 方法二

使用Scikit-Learn执行线性回归

lin_reg=LinearRegression()
lin_reg.fit(X,y)
#[4.49079138] [[3.01587697]]
X_new=np.array([[0],[2]])
X_new_b=np.c_[np.ones((2,1)),X_new]
lin_reg.predict(X_new)
#[[ 4.51503205]
#[10.45564916]]

• 方法三

LinearRegression类基于scipy.linalg.lstsq()函数(名称代表“最小二乘”)

X_b=np.c_[np.ones((100, 1)), X]

theta_best_svd,residuals,rank,s=np.linalg.lstsq(X_b,y,rcond=1e-6)
#[[4.4350753]
#[3.0726514]]

• 方法四(★★★)

使用np.linalg.pinv()来计算这个伪逆，这种方法比计算标准方程更有效，再加上它可以很好地处理边界情况：的确，如果矩阵XтX是不可逆的，标准方程可能没有解，例如m<n或者某些特征是多余的，但伪逆总是有定义的

X_b=np.c_[np.ones((100, 1)), X]

np.linalg.pinv(X_b).dot(y)
#[[4.51562244]
 #[2.98318706]]