我是靠谱客的博主 谨慎汽车,最近开发中收集的这篇文章主要介绍牛顿法求解最小二乘问题(线性回归),觉得挺不错的,现在分享给大家,希望可以做个参考。

概述


用牛顿法求解代价函数的最小值,这里是n维向量,是实数。


解  牛顿法( 详细点此)迭代公式为

这里, 关于 的偏导数向量; 是一个n x n被称作Hessian的矩阵,其元素为

先求 关于 的偏导数


上式即为向量 的第 个元素,所以


其中,



然后求解海森矩阵,


所以,




从而选择随机初始值 ,一次迭代后,


我们发现无论 取什么值,一次迭代后 都为 ,而此值恰恰为使得 取最小值的 值。( 具体证明请点击此)。


因此,牛顿法经过一步迭代,即可求解最小二乘问题。

最后

以上就是谨慎汽车为你收集整理的牛顿法求解最小二乘问题(线性回归)的全部内容,希望文章能够帮你解决牛顿法求解最小二乘问题(线性回归)所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(71)

评论列表共有 0 条评论

立即
投稿
返回
顶部