图文多模态模型CLIP
CLIP带给我的震撼是超过transformer的，这是OpenAI的重要贡献之一。就如官网所描述的：用对比学习（Contrastive Learning）来对齐约束图像模型和文本模型。用文本嵌入指导图像学习，图像嵌入指导文本学习。这样一来，图像分类进入了CLIP时代，不需像传统深度学习图像分类一样，先定义出类别范围，然后准备各类别的数据（比如MNIST的十分类，ImageNet的千分类）。我们有了CLIP，可以直接任意给出一个class set如{“cat”，“dog”, “horse”，“O
