Do We Really Need to Access the Source Data?SHOT

SHOT框架：学习域不变特征加码模块，让输出目标特征可匹配源特征分布，被源假设分类准确，

1. 引言
一个简单但通用的方法：源假设转移（SHOT).
SHOT假设：相同的深度神经网络模型包括一个域之间的特征加密模块和一个分类器模块（假设）。旨在学习一个目标特定的特征加密模块来生成与源数据表示对齐良好的目标数据表示，而不用接触源数据和目标数据的标签。SHOT基于以下进行设计：如果我们已经学习了目标数据的类源表示，源分类器（假设）对目标数据的分类输出应与源数据的类似，即与one-hot编码接近。因此，SHOT冻结了源假设，并通过最大化中间特征表示和分类器输出之间的互信息微调了源加密模块，因为信息最大化鼓励网络分配完全不同的one-hot编码给目标特征表示。

即使信息最大化迫使特征表示很好地适应假设，可能仍将目标特征表示对齐到错误的源假设。为避免，提出一个自监督伪标签方法来增强目标表示学习。考虑到源分类器生成的伪标签可能对目标数据不准确有噪，我们提出对目标域本身保留中间class-wise原型，并进一步从这些原型中通过监督得到更干净的伪标签，来指导映射模块学习。这种自监督标签充分利用了目标域的全局架构，并将学习正确适应源假设的特征表示。而且，还调查了标签平滑，权重正则化，批归一化，在源模型的网络架构内，来增强适应性能。

2. 相关工作
假设迁移学习(HTL)
HTL可看作参数适应的正则化，假设最优目标假设与源假设紧密相关。与著名的微调策略相似，HTL大多获得每个类至少一个带标记的目标例子的小集合，限制了z在半监督DA情景的可用性。
伪标签（PL）
伪标签最初为半监督学习提出，在其他传感学习上很受欢迎，主要思想：标记伪标签的数据用最大预测改了，并与标记数据一起进行微调，很有效。在没有标记数据下，DeepCluster，最好的自监督学习方法之一，通过k-means聚类生成伪标签，并利用他们来重新训练当前模型。考虑到数据集偏移，我们框架结合了两者的优势，发展了一个自建度的伪标签策略来减轻有噪伪标签的伤害。
Federated Learning (FL)
FL是一种分布机器学习方法，训练一个多个去中心化边缘设备之间的模型，而不交换他们的数据样本。FL的通常用法消耗一个简单的来自多个局部使用者的更新集合用于服务器端的学习算法，提供了一个隐私保留的机制。最近：知识从去中心化节点转移到一个新的节点，不需任何监督本身并提出一个基于对抗的解决方案。特别的，它在每个源节点训练一个模型，并用源梯度的集合更新目标模型来减少域偏移。但它可能不能解决普通的DA设定，仅有一个源域可用。

3. 方法
仅用一个预训练模型，不使用源数据来解决无监督DA任务。特别的，考虑$K-way$分类。对普通的无监督DA任务，给我们$n_s$个来自源域$D_s$的带标签样本 { x s i , y s i } i = 1 n s {{x_s^i,y_s^i}}_{i=1}^{n_s} {xsi​,ysi​}i=1ns​​，其中$x_s^i\in {\mathcal{X}}_s,y_s^i\in {\mathcal{Y}}_s$，以及$n_t$个来自目标域$D_t$的无标签样本 { x t i } i = 1 n t {{x_t^i}}_{i=1}^{n_t} {xti​}i=1nt​​，其中$x_t^i\in {\mathcal{X}}_t$。DA的目标是预测目标域中的标签 { y t i } i = 1 n t {{y_t^i}}_{i=1}^{n_t} {yti​}i=1nt​​，其中$y_t^i\in {\mathcal{Y}}_t$，源任务${\mathcal{X}}_s\to {\mathcal{Y}}_s$假定与目标任务${\mathcal{X}}_t\to {\mathcal{Y}}_t$相同。这里SHOT旨在学习一个目标方程$f_t:{\mathcal{X}}_t\to {\mathcal{Y}}_t$，然后仅用 { x t i } i = 1 n t {{x_t^i}}_{i=1}^{n_t} {xti​}i=1nt​​和源方程$f_s:{\mathcal{X}}_s\to {\mathcal{Y}}_s$来推断 { y t i } i = 1 n t {{y_t^i}}_{i=1}^{n_t} {yti​}i=1nt​​。

我们通过三个步骤解决UDA的源模型转移任务。首先，从源数据生成源模型。其次，丢弃源数据并转移模型（包括源假设）到目标域而不接触源数据。第三，进一步研究如何为两个模型都设计更好的网络架构来提升适应性能。

3.1 源模型生成
考虑构建一个深度神经网络然后学习源模型$f_s:{\mathcal{X}}_s\to {\mathcal{Y}}_s$通过最小化下面的标准交叉熵损失：
$${\mathcal{L}}_{src}(f_s;{\mathcal{X}}_s,{\mathcal{Y}}_s)=-{\mathbb{E}}_{(x_s,y_s)\in {\mathcal{X}}_s\times {\mathcal{Y}}_s{\sum }_{k=1}^K{q}_{k}log{\delta }_k(f_s(x_s))}$$
其中${\delta }_k(a)=\frac{exp(a_k)}{{\sum }_{i}exp(a_i)}$表示一个K维向量a的softmax输出的第k个元素，q是$y_s$加密的K中之一，其中$q_k$对正确类是1，其余是0.为了进一步增加源模型的判别性并帮助下面的目标数据对齐，提出采用标签平滑（LS）方法因为它鼓励样本至于紧密均匀分布的簇中。有了LS，目标方程变为公式1：
$$L_{src}^{l_s}(f_s;{\mathcal{X}}_s,{\mathcal{Y}}_s)=-{\mathbb{E}}_{(x_s,y_s)\in {\mathcal{X}}_s\times {\mathcal{Y}}_s}\sum _{k=1}^K{q}_k^{l_s}log{\delta }_k(f_s(x_s))$$
这里$q_k^{l_s}=(1-\alpha )q_k+\alpha /K$是平滑的标签，$\alpha$是平滑参数经验上设为0.1.

3.2 信息最大化的源假设转移（SHOT-IM）
源模型通过图2中的DNN进行参数化，包括两个模块：特征编码模块$g_s:{\mathcal{X}}_s\to {\mathbb{R}}^d$，和分类器模块${\mathbb{R}}^d\to {\mathbb{R}}^K，即f_s(x)=h_s(g_s(x))$。这里的d是输入特征的维数。之前DA方法通过匹配特征空间${\mathbb{R}}^d$的数据分布来对齐不同域（使用最大平均差异MMD或域对抗对齐）。然而，这两种策略都假设源和目标域共享同样的特征编码器，并需要在适应中接触源于数据。这在提出的DA设定下不可行。相反，ADDA放松了参数共享限制，提出一个新的对抗框架给DA，对每个域学习不同的映射方程。而且，DIRT-T首先学习一个参数共享的DA框架来初始化，然后通过最小化簇假设violation来微调整个网络。这两个方法意味着学习一个域特定特征加码模块是可行的，甚至比参数共享机制效果更好。
我们遵循这个策略并提出一个源假设转移SHOT框架，通过学习域特定特征加码模块但固定源分类器模块（假设），因为源假设加密了未见源数据的分布信息。具体的，SHOT对不同域特定特征学习模块使用相同分类器模块，即$h_t=h_s$。旨在学习最优目标特征学习模块$g_t:{\mathcal{X}}_t\to {\mathbb{R}}^d$，以使输出目标特征可以很好地匹配源特征分布，并且可通过源假设直接被准确分类。值得注意的是SHOT很少使用源数据，只用一次来生成源假设，而ADDA和DIRT-T需要同时用源和目标数据当学习模型时。

重要的，我们希望学习最优目标编码器$g_t$以至于目标数据分布$p(g_t(x_t))$好好匹配源数据分布$p(g_s(x_s))$。然而，特征级别的对齐不能好好工作，因为不可能估计$p(g_s(x_s))$的分布，在不接触源数据的情况下。我们从另一个角度看这一问题：如果域差异被减小，无标签的目标数据应该会有什么样的输出？我们主张理想的目标输出应该域one-hot编码类似，但彼此不同。为此，我们采用信息最大化IM损失，来让目标输出单独确定并且全局不同。实际上，我们最小化下面的$L_{ent}和L_{div}$一起构成IM损失：
$$L_{ent}(f_t;{\mathcal{X}}_t)=-{\mathbb{E}}_{x_t\in {\mathcal{X}}_t}\sum _{k=1}^K{\delta }_k(f_t(x_t))log{\delta }_k(f_t(x_t)),$$
$$L_{div}(f_t;{\mathcal{X}}_t)=\sum _{k=1}^K{\hat{p}}_{k}log{\hat{p}}_k=D_{KL}(\hat{p},\frac{1}{K}{1}_K)-logK$$
这里$f_t(x)=h_t(g_t(x))$是每个目标样本的K维输出,$1_K$是一个K维向量（都是1），$\hat{p}={\mathbb{E}}_{x_t\in {\mathcal{X}}_t}[\delta (f_t^{(k)}(x_t))]$是整个目标域的平均输出嵌入。IM将比之前DA工作中广泛应用的条件熵最小化更好，因为IM可以避免琐碎的解决方案（其中所有未标记数据通过公平的多样性提升目标$L_{div}$有着相同的one-hot编码。

3.3 使用自监督伪标签的源假设转移加强
如图1，我们展示了仅通过SHOT-IM和源模型学习到的特征t-SNE可视化。直观上，目标特征表示仅在源模型分布混乱，并且使用IM损失可以帮助对齐目标数据（使用未见源数据）。然而，目标数据可能以一定程度匹配到错误的源假设在图1b中。

我们认为：有害的影响源自于不准确的网络输出。比如，来自次类（输出[0.4,0.3,0.1,0.1,0.1]的归一网络）的一个目标样本可能会被迫使有一个期望输出[1.0,0.0,0.0,0.0,0.0]。为减轻这个影响，进一步对未标记数据应用伪标签来更好的监督目标数据编码训练。然而，一般由源假设生成的伪标签由于域偏移是有噪的。受DeepCluster启发，我们提出了一个新颖的自监督伪标签策略。首先，我们对目标域的每个类得到质心，类似于带权重的k-means簇：
$$c_k^{(0)}=\frac{{\sum }_{x_t\in {\mathcal{X}}_t}{\delta }_k({\hat{f}}_t(x_t)){\hat{g}}_t(x_t)}{{\sum }_{x_t\in {\mathcal{X}}_t}{\delta }_k({\hat{f}}_k(x_t))}$$
其中${\hat{f}}_t={\hat{g}}_t\circ h_t$表示之前学到的目标假设。这些质心可以鲁棒地更可靠的区分目标域内不同类别的分布。然后，我们通过最近质心分类器得到伪标签：
$${\hat{y}}_t=argmi{n}_k{D}_f({\hat{g}}_t(x_t),c_k^{(0)})$$
其中$D_f(a,b)$衡量a和b直接的cos距离。最后，我们基于新的伪标签计算目标质心（公式6）
$$c_k^{(1)}=\frac{{\sum }_{x_t\in {\mathcal{X}}_t}1({\hat{y}}_k=k){\hat{g}}_t(x_t)}{{\sum }_{x_t\in {\mathcal{X}}_t}1({\hat{y}}_t=k)}$$
我们将${\hat{y}}_t$记作自监督伪标签因为他们是以一种自建度方式得到的质心生成的。实际上，在多轮中我们用公式6更新质心和标签。然而，实验验证更新一次会给出足够好的伪标签。
总结：给定源模型$f_s=g_s\circ h_s$和上面生成的伪标签，SHOT冻结来自源$h_t=h_s$的假设，并学习特征编码器$g_t$，完整目标为：
$$\mathcal{L}(g_t)={\mathcal{L}}_{ent}(h_t\circ g_t;{\mathcal{X}}_t)+{\mathcal{L}}_{div}(h_t\circ g_t;{\mathcal{X}}_t)-\beta {\mathbb{E}}_{(x_t,{\hat{y}}_t)\in {\mathcal{X}}_t\times {\hat{\mathcal{Y}}}_t}\sum _{k=1}^K{1}_{[k={\hat{y}}_t]}log{\delta }_k(h_t(g_t(x_t)))$$
其中$\beta >0$是一个平衡超参数。

3.4 源模型的网络架构
研究如何为我们的问题训练一个更好的源假设。我们讨论对神经网络模型的一些结构选择来参数化特征编码模块和假设。首先，我们需要回看公式1中交叉熵损失的期望网络输出。如果$y_s=k$，那么最大化$f_s^{(k)}(x_s)=\frac{exp(w_k^T{g}_s(x_s))}{{\sum }_{i}exp(w_i^T{g}_s(x_s))}$意味着最小化$g_s(x_s)和w_k$直接的距离，其中$w_k$是最后FC层的第k个权重向量。理想地，所有来自第k类的样本将有一个和$w_k$相近的特征嵌入。如果无标签目标样本给定正确的伪标签，很容易理解源特征嵌入域目标的是相似度通过伪标签项，其动机与之前研究相似，一个简化的MMD被利用来进行判别域混淆。
由于权重归一导致了在softmax输出内的内部距离问题，我们采用权重归一化WN来保持每个权重向量$w_i$的准则与FC分类层中的相同。而且，批归一化BN可以减小内部数据集偏移因为不同域共享相同的平均（0）和方差，可悲认为是一阶和二阶矩。基于这些，形成SHOT的完整框架如图2。在实验中，充分研究每个之前架构的影响。

四、实验
4.2 实施细节
网络超参数
训练整个网络通过后向传播，新加的层用预训练层的10倍学习率训练。准确的，采用mini-batchSGD以0.9的momentum和1e-3的权重衰减，学习率${\eta }_0=1e^{-2}$对锌层，从头学习的层对所有使用除了VisDA-C。进一步采用相同的学习率规划$\eta ={\eta }_0\cdot (1+10\cdot p{)}^{-0.75}$，其中p是训练过程从0变为1、而且，将批尺寸设为64对所有任务。使用$\beta =0.3$对所有使用除了Digits.

4.4目标识别的结果（普通闭集）
在各种目标识别基准上评估SHOT。表格3，SHOT对D->A和W->A表现最好。可能因为SHOT需要相对大的目标域来学习假设$f_t$而D和W和目标域一样小。通常，SHOT得到很好性能，甚至在没有直接接触源域数据的情况下。
消融研究
我们研究了自建度伪标签策略的优势，很明显PL策略效果很好，我们呢自建度的PL总是比单纯的好。很惊讶，仅使用$L_{ent}$和自建度PL甚至产生更差的结果。但使用$L_{ent}和L_{div}$结果变得比自建度PL基准更好，意味着多样性提升目标$L_{div}$的重要性。

最后

以上就是紧张金鱼最近收集整理的关于Do We Really Need to Access the Source Data?SHOT的全部内容，更多相关Do内容请搜索靠谱客的其他文章。