机器学习 · 总览篇 VIII 三要素之算法 - 梯度下降法及其变种
机器学习最后一个要素-算法，准确来说是优化算法，特别是数值优化（Numerical Optimization）或凸优化（Convex Optimization），属于运筹学（最优化理论）的一部分。机器学习中广泛使用的凸优化方法主要分为梯度下降法和拟牛顿法，这两类方法都派生出大量的变种，本文将介绍梯度下降法及其变种。文章首发于我的博客，转载请保留链接 ????一、运筹学和凸优化本文要介绍的机器学习最后一个要素-算法，其实就是使用了运筹学、特别是凸优化的相关知识，所以本文首先分别介绍运筹学和凸优化。
