概述
用牛顿法求解代价函数的最小值,这里是n维向量,是实数。
解 牛顿法(
详细点此)迭代公式为
,
这里,
是
关于
的偏导数向量;
是一个n x n被称作Hessian的矩阵,其元素为
。
先求
关于
的偏导数
上式即为向量
的第
个元素,所以
其中,
然后求解海森矩阵,
所以,
从而选择随机初始值
,一次迭代后,
我们发现无论
取什么值,一次迭代后
都为
,而此值恰恰为使得
取最小值的
值。(
具体证明请点击此)。
因此,牛顿法经过一步迭代,即可求解最小二乘问题。
最后
以上就是谨慎汽车为你收集整理的牛顿法求解最小二乘问题(线性回归)的全部内容,希望文章能够帮你解决牛顿法求解最小二乘问题(线性回归)所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复