我是靠谱客的博主 自然野狼,最近开发中收集的这篇文章主要介绍ReID:无监督及领域自适应的目标重识别概述Object ReID:Domain Adaptive Object ReID:Unsupervised Object ReID,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

无监督(unsupervised)及领域自适应(domain adaptive)的目标重识别是目标重识别领域中两个重要的研究方向,同时二者又关系密切。本文中部分配图和内容参考葛艺潇:无监督及领域自适应的目标重识别。

Object ReID:

目标重识别(object ReID)是图像检索领域内的一个分支,比较常见的目标重识别任务包括行人重识别,车辆重识别和服饰重识别。

  • 人脸识别
    • webface
    • Glint360K
    • WebFace260M
  • 行人重识别
    • market-1501
    • DukeMTMC-reID
    • MSMT17
  • 车辆重识别
    • Veri776
    • AICity
  • 服饰重识别
    • Deepfashion
  • 其它
    • Watch and Buy: Multimodal Product Identification Challenge

ReID任务一般为存在一个probe image作为query,多个不同摄像头下拍摄的多种身份标签组成gallery,返回gallery中与query身份一致的图片。
其一般流程为,使用一个预先训练好的模型,对需要检索的图片提取特征embedding,这个特征会用来计算每个pair之间的距离,以排序gallery中不同图像。
在这里插入图片描述
所以,对于基于深度学习的ReID方法,是否能够提取出具有代表性的特征,直接决定了ReID系统的表现。理想状态下该特征应该能够具有足够的鲁棒性对抗角度,光照,姿态等变化。
如下图所示,这个同一个车在不同摄像头下的图像,数据来源于AICity challenge 2021 track3
在这里插入图片描述

Domain Adaptive Object ReID:

task

得益于深度学习能力,ReID任务在部分benchmark上可以取得非常不错的性能,但是这只限于同一个benchmark内,如果用market-1501中训练的模型,用到DukeMTMC中预测(market2duke),性能就会大幅下降,反之亦然。即ReID的跨域表现非常差,对抗领域差异的能力很弱。
领域自适应ReID就是为了解决这个问题,领域自适应ReID要求通过有标注的源域数据预测无标注的目标域数据。
在这里插入图片描述
领域自适应的ReID任务也被成为open-class问题,为了区分分类任务中的domain adaptive问题,因为ReID任务一般情况下是领域间类别不同的,而分类任务领域间类别部分相同或完全相同。

这个比较好理解,ReID的任务即便是同一个domain中,test和train的类别也没有交叉。

solutions

领域自适应ReID任务有两大类解决方法:伪标签类(pseudo-label-based)和域转换类(domain-translation-based),

伪标签类方法通过源域中的训练得到的模型,在目标域中进行特征提取和聚类,聚类后得到的标签就是伪标签,并作为实际标签来使用,进行常规reid模型的训练。并在每个epoch开始前更新标签。伪标签类方法可以有效建模源域和目标域之间的关系,是领域自适应重识别任务中的主流方法。
域转换方法通过一个GAN模型,将目标域的风格转换到源域,利用源域的模型进行预测

伪标签与域转换并不冲突,二者相辅相成。

methods

pseudo-label-based

  • MMT
  • SpCL

domain-translation-based

  • SPGAN
  • SDA

Unsupervised Object ReID

task

无监督的目标重识别任务与领域自适应目标重识别任务比较相似,区别在于前者没有source domain,在这里还有一点区分:

一般情况下无监督的目标重识别任务会使用imagenet上的预训练模型,所以也可以理解为imagenet domain向target domain的自适应的问题。

而无监督预训练任务要求不能使用预训练模型。

solutions

无监督ReID任务由于没有被标定的源域,所以只剩下伪标签类(pseudo-label-based)方法,其伪标签类方法与领域自适应的伪标签方法非常相似,

区别就在于前者没有通过源域中的训练得到的模型,而是直接使用imagenet上的预训练模型进行特征提取。

methods

同样的,大多数应用到领域自适应的目标重识别方法,都可以应用到无监督目标重识别上

pseudo-label-based

  • MMT
  • SpCL
  • Cluster Contrast ReID

最后

以上就是自然野狼为你收集整理的ReID:无监督及领域自适应的目标重识别概述Object ReID:Domain Adaptive Object ReID:Unsupervised Object ReID的全部内容,希望文章能够帮你解决ReID:无监督及领域自适应的目标重识别概述Object ReID:Domain Adaptive Object ReID:Unsupervised Object ReID所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(52)

评论列表共有 0 条评论

立即
投稿
返回
顶部