小样本点云深度学习库_域自适应小样本学习

论文题目：Domain-Adaptive Few-Shot Learning
论文地址： https:// arxiv.org/abs/2003.0862 6

小样本学习（Few Shot Learning, FSL）在深度学习领域具有重要意义，在本文中小样本学习被当作一个迁移学习（源域和目标域之间进行迁移）问题。通常来说目标域的训练样本数量较少，而且与源域的领域不同。域自适应小样本学习（Domain-adaptive few-shot learning (DA-FSL），这意味着在目标类的样本很少的情况下，从源类训练的模型要适应新域和新的类别。

传统的域自适应问题是使用对抗学习策略让源域和目标域对齐（这里的对齐指的是全局数据层面的对齐），其全局分布会间接实现源域和目标域中类别层面的对齐。但是本文的域自适应问题来说，这是一个不必要的方面，因为目标类与源类不同。

因此，除了使用传统的域自适应方法，本文在嵌入特征之前引入新的损，以增强源/目标类的区分能力:
①通过对源域和目标域进行对齐，降低域之间的差异；
②每个类的分布没有对齐，但是源类和目标类仍然可以很好地分离。

Domain Adaptive Embedding

本文首先使用ResNet18及进行源域和目标域的特征提取，从而得到

和

（512维的特征向量）,然后使用特征嵌入模块

然后，为了进一步对齐文中使用域自适应损失（Domain adaptive loss）。Domain adaptive loss如下，其中

为交叉熵损失，

为特征表示

和 分类结果

的联合变量。因此能够对源域和目标域能够进行对齐。

但是上述Domain adaptive loss容易导致类别层次的过度对齐。为了解决这个问题，文中引入了一个域区分损失（Domain discriminative loss），使得每个域内的每个类的分布是不同的。Domain discriminative loss如下：

Prototypical Network

文中使用原型网络作为小样本学习模型的主要组件。（以源域为例，目标域同理）首先，作者从源域中选取支持集

（support set）和查询集

（query set），其中每个类均选择

个样本。因此类别

的原型

如下：

表示支持集

中属于类别

的样本。 因此原型网络能够产生查询样本

和类别

的原型

的欧式距离：

最后，通过通过随机梯度下降法最小化目标函数，其中

为真实标签：

原型网络的详细解释：小样本学习（few-shot learning）之--原形网络（Prototypical Networks）

Code: