我是靠谱客的博主 谨慎汽车,这篇文章主要介绍牛顿法求解最小二乘问题(线性回归),现在分享给大家,希望可以做个参考。


用牛顿法求解代价函数的最小值,这里是n维向量,是实数。


解  牛顿法( 详细点此)迭代公式为

这里, 关于 的偏导数向量; 是一个n x n被称作Hessian的矩阵,其元素为

先求 关于 的偏导数


上式即为向量 的第 个元素,所以


其中,



然后求解海森矩阵,


所以,




从而选择随机初始值 ,一次迭代后,


我们发现无论 取什么值,一次迭代后 都为 ,而此值恰恰为使得 取最小值的 值。( 具体证明请点击此)。


因此,牛顿法经过一步迭代,即可求解最小二乘问题。

最后

以上就是谨慎汽车最近收集整理的关于牛顿法求解最小二乘问题(线性回归)的全部内容,更多相关牛顿法求解最小二乘问题(线性回归)内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(112)

评论列表共有 0 条评论

立即
投稿
返回
顶部