@Lecture 9:Linear_Regression
Linear Regression Problem
回归问题：输出空间为实数空间（连续）
希望观测值和预测值的差值越小越好
Err Measure:
Linear Regression Algorithm
这一节讲如何最小化Ein的问题
-
先用矩阵形式对Ein进行展开简化
-
求Ein的最小值，即求Ein关于w的梯度为0 的点
对Ein的公式进行展开，对w求梯度
展开：
求梯度：
求梯度为0：分两种情况XTX可逆和不可逆
按照上述流程，可总结算法为：
Generalization Issue
本节主要讲dvc在线性回归上面的推广
是机器学习算法，即可以学到一个小的Eout
该算法的物理意义，H的物理意义，把样本观测值y投影到可以用x线性表出的预测值yhat上:
物理意义：
由物理意义得到Ein的平均：
得到Eout的平均:
H是对称的
一点思考：从物理意义投影来看问题的新思路
Linear Regression for Binary Classifification
这节主要讲如何把线性分类用到二分类里面：原因是线性回归问题好解（求逆就可以了）
线性回归和线性分类的异同：
分析回归算法和分类算法的Err,得到分类的Err小于等于回归的Err:
因此，通过VC bound可得：
到这里，我们就可以使用linear regression来做线性二分类问题了
最后
以上就是默默凉面最近收集整理的关于林轩田机器学习基石Lecture 9:Linear_Regression的全部内容，更多相关林轩田机器学习基石Lecture内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复