正则化之weight-decay
一、正则化之weight_decay1、Regularization：减少方差的策略误差可分解为：偏差、方差与噪声之和。误差=偏差+方差+噪声偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；噪声：表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界；损失函数：衡量模型输出与真实标签的差异；损失函数（loss function）：代价函数（c
