激动寒风

文章
4
资源
1
加入时间
2年10月21天

使用泰勒展开解释梯度下降方法参数更新过程

泰勒公式:一阶泰勒展开:梯度下降是逐步迭代,损失函数逐步降低的过程:为了满足上述不等式条件,取,则上式变为:因为是步长,,所以上述不等式成立。 从而得出梯度下降的参数更新公式:...