了解“预训练-微调”，看这一篇就够了
在结果的提升上，他们的结论是，预训练模型只会对最终的结果有着微小的提升。该方法首先利用在有标记源域数据上微调的预训练模型分别在源域和目标域上提取有表现力的高阶特征，然后基于这些提取好的特征进行后续的特征变换和简单的分类器构建。这促使我们重新思考预训练模型的使用方法：如果将从源域数据中学到的模型在目标域上直接提取特征，然后利用源域和目标域的特征构建模型，能否取得更好的效果？预训练-微调方法指的是首先在大数据集上训练得到一个具有强泛化能力的模型（预训练模型），然后在下游任务上进行微调的过程。...
