对比式无监督预训练（Contrastive Pre-training）
一、背景知识（1）Pre-train深度学习发展起来至今已在许多领域取得非凡成就，但是data efficiency仍然是一个难题。为取得较好的性能，常常需要很大的数据集，对于各式各样的新领域和新任务而言，这无疑是耗费巨大的。解决这一难题的一个有效途径是探索深度领域的“可转移性”，即，人们从少量的样本和其他相关的事情中获取知识用于新的任务。深度学习应用的生命周期常被划分为pre-train阶段和adaptive阶段，其中pre-train就是在获取可转移的知识。（2）对比学习自监督学习（Self
