今天更新一篇 CVPR 2019关于迁移学习的论文。论文的作者是迁移学习领域的大佬Mingsheng Long。目前，#人工智能#大部分 #算法# 依赖海量的数据。也就是说，人工智能是数据驱动的。但是，并不是所有场景下，数据都很好收集。比如医疗图像数据需要专业的医生进行标注。所以医疗图像数据很稀少。迁移学习解决能够解决人工智能领域数据稀缺的问题。

论文题目：

Universal Domain Adaptation

导师说 #研究生#期间要尽可能多的读 #论文#。读完100篇论文再谈事情。

背景

本文介绍了一种新的迁移学习的场景。

迁移学习

迁移学习是指：将源域的知识迁移到目标域，用以辅助目标域训练

通用域自适应

本文提出一种新的场景：通用域自适应。是指源域的标签空间和目标域的标签空间有一定的交集，同时两者又有各自独立的部分。如下图左下角所示：

举个例子，源域中有 老虎、斑马、狮子、大象。目标域中有老虎、狮子、猫、熊猫。它们都有老虎、狮子这两个类别。源域和目标域都包含对方没有的类别。

这个问题的难点在于，我们对它们的标签空间一无所知：不知道公共类别有哪些，非公共类别有哪些。

问题

对目标域的图片进行分类：若该图片的类别属于源域，则分为该类，否则，标记为不知道(unknown)。

存在两个问题：

1. category gap ：源域和目标域的标签空间存在差异
2. domain gap ：源域和目标域数据本身存在差异

算法

模块

网络分为四个模块：

1.特征提取器F：输入图片，经过卷积层，输出图片特征

2.标签分类器G：输入图片特征，经过全连接层，输出分类信息

用源域的图片对F和G做有监督的训练

3.非对抗的域判别器 D’ : 描述的是样本和域之间的相似性。当样本属于源域时，D’的输出趋向于1，当样本属于目标域时，D’的输出趋向于0. 损失函数如下：

根据loss的定义，我们做出如下假设(符合实际观察)：

D’的输出大小排列：源域特有的类 > 源域的公共类 > 目标域的公共类 > 目标域特有的类

4.对抗的域判别器 D：旨在匹配源域和目标域特征的分布，使它们都落到公共的标签C里。

传统gan的loss没有w这一项，类似于公式(2). 如果公式(2)作为对抗loss，则判别器D。此时的D会让特征提取器致力于提取目标域和源域都有的判别性特征。这些特征作为判别数据是哪一类的证据。

但是我们只需要提取公共类中两个域都有的特征，所以域特有的类别会对其它类别造成干扰。为了排除这种干扰，我们需要让判别器尽可能识别公共类中源域和目标域的区别。所以我们需要增加公共类和特有类别的权重w。使得权重w满足如下关系：

即在每个域中，公共类的权重大于特有类别。

训练

测试

实验