分布式机器学习二异步算法
标量对向量求导，得到的梯度也是一个向量，梯度和变量w的维度一样求出的梯度是这N项的连加，梯度g(w)是w的一个函数。在不同位置上求出梯度也不一样，因为梯度跟w有关，所以并行训练时我们需要把w传来传去梯度写成g_i(w)连加，因为有n项，n个训练样本，每个g_i只与这个样本的x_i, y_i有关，与其他数据样本无关，这就时为什么做并行计算的时候可以把样本划分到多个机器上。每个机器只需要用本地的数据训练一个本地的g_i.沿着梯度方向会上升，反方向会下降。计算梯度g在w_t方向的梯...
