唠叨雪糕

文章
4
资源
0
加入时间
2年10月17天

【ML03】Gradient Descend 梯度下降(一)概念(二)Notation(三)Gradient Descent in Linear Regression(四)python with Gradient Descent(五)小结

梯度下降法,不仅仅用于Linear Regression,也不仅仅只用于二维,而是对所有函数,都可以用梯度下降法找到最小值(Local/Global),当然如何高效的找到Global最小值是还需要研究的方向,而如何从local最小值中跳出来也是一个研究方法。应当注意的是,学习率不宜太高也不宜太低,太低会导致梯度下降出奇的慢,而太高会导致太快了“又被惯性推着跑上山去”,会出现 overshoot 的情况,从而找不到 J 损失函数最低的点。多登登山,下山时候想想什么是梯度下降,当然,一定注意安全。