各种优化方法的介绍梯度下降算法的三种变体各种梯度下降优化算法
梯度下降算法是最受欢迎的优化方法之一，同时也是最常用的神经网络优化算法。与此同时，现在各种最新的深度学习框架包含了各种各样梯度下降优化算法的实现（比如lasagne、caffe、keras的实现）。然而，这些算法经常被作为一个黑盒子进行使用，实用的关于它们的优缺点的解释却是很难找到的。本文旨在为大家介绍各种优化算法以帮助大家更好的使用这些算法。我们首先介绍梯度下降方法的不同变种；然后简要总结一下训练过程中会遇到的
