第一次写

前言

论文下载链接paper
深度学习已经在许多领域的不同回归应用中取得了显著的变化。尽管如此，训练高质量的深层模型依赖于大规模的标记数据集。在许多真实的回归应用程序中，精确地注释大量的训练实例既耗时又费力。这个问题的解决方案是利用来自相关领域的现成标记数据，并应用领域适应方法来克服领域转移或数据集偏差

一、贡献

我们确定了两个关键发现：回归性能对特征尺度不具有鲁棒性，领域自适应分类（DAC）中的可转移表示学习面临着特征尺度变化的风险

我们建议在不改变特征尺度的情况下匹配正交基来闭合域移位。具体来说，我们提出了表示子空间距离（RSD），这是一种新的几何距离，满足一般度量的所有关键公理。我们提出了一种新的正则化方法，即基不匹配惩罚（BMP），用于在计算子空间之间的距离时，约束每个子空间中排列相似的基进行匹配。这两个损失函数促进可转移表征学习，以促进领域适应回归（DAR）

我们为deepdar构建了两个新的基准。我们的方法在两个基准测试和一个姿势估计数据集上都比现有技术有巨大的优势。

二、问题

shallow regime(浅层的政权）：？（未解决）

Why learn-ing invariant representations in the deep regime for DAR less pronounced?为什么在深部区域学习DAR的不变表示不那么明显？

首先，我们测试了实验性能对特征尺度变化的鲁棒性。具体来说，我们使用L2正则化来改变特征矩阵的Frobenius范数。分类结果如图1（a）所示，回归结果如图1（b）所示。一个重要的观察结果是分类性能对特征缩放更具鲁棒性，而回归性能则不然。这意味着，在表征学习过程中，当Frobenius范数的特征尺度受到正则化项（而非监督学习损失）的影响时，性能退化是一种风险。

feature scales特征尺度

特征尺度的变化=特征的缩放=f范数+a*l2范数

为什么以前基于实例的缩减距离的方法可能改变特征尺度

与以前基于实例的距离缩减方法不同，我们试图通过探索格拉斯曼流形的黎曼几何来解决这个问题。在可转移表示学习过程中，每个实例表示向量都有其方向和大小。请注意，使用实例表示的匹配分布具有更改特征比例的风险。重要的是，每个特征矩阵都是格拉斯曼矩阵中的一个点，其基是单位向量。匹配基可以减少子空间之间的距离，但不会改变特征尺度。

引入BMP考虑正交基的顺序，以保持深表示的几何性质：

根据图2中主角度的计算过程，我们可以发现不考虑每个正交基重要性的排序（方程（1）中奇异值的排序）。一个重要的观察结果是，大多数主向量由特定的正交基控制，而不是由更多的正交基控制。如果第一主向量USPS1由排名靠前的正交基控制，而第一主向量UTPT1由排名靠后的正交基控制，则这两个不同重要性的基将通过最小化【公式3】进行匹配。然而，不同的正交基具有不同的语义，在不同领域具有相似排名的正交基往往更可能表示相似的语义。将一个表示中的重要组件与另一个表示中的不重要组件进行匹配是不合理的。为此，我们提出了碱基不匹配惩罚（BMP）来在表征学习过程中保持这一特性。

遇到的问题

回归和分类的区别

格拉斯曼流形

黎曼几何：在黎曼几何学中不承认平行线的存在，它的另一条公设讲：直线可以无限延长，但总的长度是有限的。黎曼几何的模型是一个经过适当“改进”的球面。

Frobenius范数：f范数实际上就是衡量这个矩阵和对应的零矩阵的距离，就像二维平面上的一个点，和原点的距离就是它的f范数

SVD：矩阵U或V的列向量是矩阵A在空间中的最佳标准正交基

最后

以上就是快乐小虾米为你收集整理的2021-11-11前言一、贡献二、问题遇到的问题的全部内容，希望文章能够帮你解决2021-11-11前言一、贡献二、问题遇到的问题所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。