总结机器学习优化器Optimizer
收敛直观对比下图描述了在一个曲面上，6种优化器的表现动图封面下图在一个存在鞍点的曲面，比较6中优化器的性能表现：动图封面下图图比较了6种优化器收敛到目标点（五角星）的运行过程动图封面。制定一个合适的学习率衰减策略：可以使用定期衰减策略，比如每过多少个epoch就衰减一次；或者利用精度或者AUC等性能指标来监控，当测试集上的指标不变或者下跌时，就降低学习率。whaosoft aiot http://143ai.com制定一个合适的学习率衰减策略：可以使用定期衰减策略，比如每过多少个epoch就衰
