学习心得：不同优化求解器的特点常用算法算法优缺点
在神经网络中有几种常用的优化求解算法，在这里主要记录一下各个算法的优势和缺点，对选择提供一些依据。常用算法sgd：随机梯度下降法。每次从训练集中随机选择batch_size个样本进行正向传播计算平均loss，再进行反向传播更新权重参数。Momentum SGD和Nesterov Momentum（下面统称动量法）：增加了动量项。Adagrad：在学...
