概述
无监督(unsupervised)及领域自适应(domain adaptive)的目标重识别是目标重识别领域中两个重要的研究方向,同时二者又关系密切。本文中部分配图和内容参考葛艺潇:无监督及领域自适应的目标重识别。
Object ReID:
目标重识别(object ReID)是图像检索领域内的一个分支,比较常见的目标重识别任务包括行人重识别,车辆重识别和服饰重识别。
- 人脸识别
- webface
- Glint360K
- WebFace260M
- 行人重识别
- market-1501
- DukeMTMC-reID
- MSMT17
- 车辆重识别
- Veri776
- AICity
- 服饰重识别
- Deepfashion
- 其它
- Watch and Buy: Multimodal Product Identification Challenge
ReID任务一般为存在一个probe image作为query,多个不同摄像头下拍摄的多种身份标签组成gallery,返回gallery中与query身份一致的图片。
其一般流程为,使用一个预先训练好的模型,对需要检索的图片提取特征embedding,这个特征会用来计算每个pair之间的距离,以排序gallery中不同图像。
所以,对于基于深度学习的ReID方法,是否能够提取出具有代表性的特征,直接决定了ReID系统的表现。理想状态下该特征应该能够具有足够的鲁棒性对抗角度,光照,姿态等变化。
如下图所示,这个同一个车在不同摄像头下的图像,数据来源于AICity challenge 2021 track3
Domain Adaptive Object ReID:
task
得益于深度学习能力,ReID任务在部分benchmark上可以取得非常不错的性能,但是这只限于同一个benchmark内,如果用market-1501中训练的模型,用到DukeMTMC中预测(market2duke),性能就会大幅下降,反之亦然。即ReID的跨域表现非常差,对抗领域差异的能力很弱。
领域自适应ReID就是为了解决这个问题,领域自适应ReID要求通过有标注的源域数据预测无标注的目标域数据。
领域自适应的ReID任务也被成为open-class问题,为了区分分类任务中的domain adaptive问题,因为ReID任务一般情况下是领域间类别不同的,而分类任务领域间类别部分相同或完全相同。
这个比较好理解,ReID的任务即便是同一个domain中,test和train的类别也没有交叉。
solutions
领域自适应ReID任务有两大类解决方法:伪标签类(pseudo-label-based)和域转换类(domain-translation-based),
伪标签类方法通过源域中的训练得到的模型,在目标域中进行特征提取和聚类,聚类后得到的标签就是伪标签,并作为实际标签来使用,进行常规reid模型的训练。并在每个epoch开始前更新标签。伪标签类方法可以有效建模源域和目标域之间的关系,是领域自适应重识别任务中的主流方法。
域转换方法通过一个GAN模型,将目标域的风格转换到源域,利用源域的模型进行预测
伪标签与域转换并不冲突,二者相辅相成。
methods
pseudo-label-based
- MMT
- SpCL
domain-translation-based
- SPGAN
- SDA
Unsupervised Object ReID
task
无监督的目标重识别任务与领域自适应目标重识别任务比较相似,区别在于前者没有source domain,在这里还有一点区分:
一般情况下无监督的目标重识别任务会使用imagenet上的预训练模型,所以也可以理解为imagenet domain向target domain的自适应的问题。
而无监督预训练任务要求不能使用预训练模型。
solutions
无监督ReID任务由于没有被标定的源域,所以只剩下伪标签类(pseudo-label-based)方法,其伪标签类方法与领域自适应的伪标签方法非常相似,
区别就在于前者没有通过源域中的训练得到的模型,而是直接使用imagenet上的预训练模型进行特征提取。
methods
同样的,大多数应用到领域自适应的目标重识别方法,都可以应用到无监督目标重识别上
pseudo-label-based
- MMT
- SpCL
- Cluster Contrast ReID
最后
以上就是自然野狼为你收集整理的ReID:无监督及领域自适应的目标重识别概述Object ReID:Domain Adaptive Object ReID:Unsupervised Object ReID的全部内容,希望文章能够帮你解决ReID:无监督及领域自适应的目标重识别概述Object ReID:Domain Adaptive Object ReID:Unsupervised Object ReID所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复