Pytorch中的SGDR
pytorch中既自带了学习率函数,我们也可以自定义学习率调整函数。调整函数通常随epoch的变化而变化。首先实现自定义学习率调整:自定义学习率调整以SGDR余弦学习率调整为例:论文地址:https://arxiv.org/abs/1608.03983在pytorch中的训练代码:# 第epoch值进行计算并更新学习率def adjust_lr(optimizer, epoch, T_0=10, eta_max=0.1, eta_min=0.): if T_mul == 2: