优化方法：坐标下降法 最小二乘法 梯度下降法 牛顿法 拟牛顿法
1、坐标下降法坐标下降法属于一种非梯度优化的方法，它在每步迭代中沿一个坐标的方向进行搜索，通过循环使用不同的坐标方法来达到目标函数的局部极小值L1正则优化可以选择坐标下降法相比梯度下降法而言，坐标下降法不需要计算目标函数的梯度，在每步迭代中仅需求解一维搜索问题，所以对于某些复杂的问题计算较为简便。但如果目标函数不光滑的话，坐标下降法可能会陷入非驻点。关于坐标下降法，有几点需要注意的：1.坐标下降的顺序是任意的，不一定非得按照从????1…????????的顺序来，可以是从1到n的任意排列。
