优化方法：坐标下降法 最小二乘法 梯度下降法 牛顿法 拟牛顿法

1、坐标下降法

坐标下降法属于一种非梯度优化的方法，它在每步迭代中沿一个坐标的方向进行搜索，通过循环使用不同的坐标方法来达到目标函数的局部极小值

L1正则优化可以选择坐标下降法

相比梯度下降法而言，坐标下降法不需要计算目标函数的梯度，在每步迭代中仅需求解一维搜索问题，所以对于某些复杂的问题计算较为简便。但如果目标函数不光滑的话，坐标下降法可能会陷入非驻点。
关于坐标下降法，有几点需要注意的：
1.坐标下降的顺序是任意的，不一定非得按照从????1…????????的顺序来，可以是从1到n的任意排列。
2.坐标下降的关键在于一次一个地更新，所有的一起更新有可能会导致不收敛。
3.坐标上升法和坐标下降法的本质一样，只不过目标函数成为求????(????)的极大值了，每次迭代过程????????????变成????????????了。

2、最小二乘法

最小二乘法，又叫做最小平方法，它通过最小化误差的平方和寻找数据的最佳函数匹配，思想比较简单，最小二乘法可以求出参数的解析解，最小二乘法还可用于曲线拟合。

优缺点
相比较于梯度下降，不需要选择步长。
如果样本量不大，且存在解析解，则最小二乘法是更好的选择。但是如果样本量很大，则求逆矩阵复杂度比较高，此时选择梯度下降更好。
计算速度很快

3、梯度下降法

梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）

梯度的优化优化方法主要包括梯度上升和梯度下降，如果想要求最大值，则使用梯度上升法，如果想要去最小值，则使用梯度下降法。本文主要讲梯度下降法，梯度下降法是指参数不断沿着负梯度方向不断更新，直到最小值

批量梯度下降、随机梯度下降、小批量梯度下降

4、牛顿法

牛顿法一般有两个用途，一种是用于求方程的根，一种是用来求最值。

优缺点
相比较于梯度下降法，梯度下降法只引入了一阶导数信息，而牛顿法引入了二阶导数信息。
收敛速度快，但是需要计算海瑟矩阵的逆矩阵，计算较复杂

5、拟牛顿法

在牛顿法中，海瑟矩阵的逆需要计算，这一过程非常耗时，用不包含二阶导数的矩阵近似牛顿法中的Hesse矩阵的逆矩阵

DFP方法、BFGS方法、

优缺点
改善了牛顿法求海瑟矩阵的逆矩阵的计算复杂的缺陷，使用正定矩阵来近似海瑟矩阵的逆，简化了计算复杂度

最后

以上就是缥缈西牛为你收集整理的优化方法：坐标下降法 最小二乘法 梯度下降法 牛顿法 拟牛顿法的全部内容，希望文章能够帮你解决优化方法：坐标下降法 最小二乘法 梯度下降法 牛顿法 拟牛顿法所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。