【论文速递】TGRS2023 - DARSNet：遥感图像超分辨率辅助语义分割的多任务域自适应

【论文原文】：DASRSNet: Multitask Domain Adaptation for Super-Resolution-Aided Semantic Segmentation of Remote Sensing Images

【作者信息】：Yuxiang Cai; Yingchun Yang; Yongheng Shang; Zhengwei Shen; Jianwei Yin

获取地址：https://ieeexplore.ieee.org/document/9999252

摘要：

无监督领域自适应（UDA）已成为遥感界跨领域语义分割的重要技术，并取得了显著的效果。然而，当从高分辨率（HR）遥感图像转换到低分辨率（LR）图像时，由于严重的空间分辨率偏移问题，现有的UDA框架总是无法分割LR目标图像，特别是对于小物体（例如汽车）。在本文中，为了提高UDA模型对LR目标图像和小对象的分割能力，我们提出了一种新的基于超分辨率（SR）的遥感图像SS多任务域自适应网络（DARSNet）。提出的DARSNet包含SS（DASS）分支的域适配、SR（DASR）分支的区域适配和特征亲和性（FA）模块。具体而言，DASS和DASR分支共享相同的编码器，以提取目标域和源域的域不变特征，这两个分支使用不同的解码器和鉴别器来执行跨域SS任务和SR任务，这分别对齐输出空间和图像空间中的域移位。最后，FA模块涉及所提出的FA损失，用于增强SS特征和SR特征对源域和目标域的亲和力。在跨城市航空数据集上的实验结果证明了我们的DARSNet相对于最近的UDA模型的有效性和优越性。

关键词： 对抗性学习、多任务学习、语义分割、超分辨率、无监督领域自适应

简介：

在同一数据集上训练和测试基于CNN的模型时，这些模型在遥感方面取得了显著的结果。但当将这些模型从训练数据集（源域）转移到对从各种传感器或城市（目标域）获取的未标记遥感图像进行分类时，它们的分割性能将显著下降。这是由源域和目标域之间的分布差异（域偏移）引起的。在遥感领域，在捕获遥感图像时，不同域之间的域偏移通常由许多因素引起，如成像时间、季节、角度和照明、图像采集位置和传感器。这些因素将显著影响遥感图像的分布差异和潜在特征。
最近，提出了无监督域自适应（UDA）来处理上述域偏移，而不是对目标图像进行手动标记，并在跨域SS中取得了令人印象深刻的性能。一般来说，大多数UDA框架都学习在图像、特征或输出空间中对齐目标域和源域。
尽管最近的UDA模型在跨域SS任务中取得了显著的性能，**但绝大多数UDA方法没有明确考虑目标域和源域之间的空间分辨率偏移问题。具体而言，当源域和目标域之间的空间分辨率差异不严重时，一些UDA方法直接忽略了它们之间的空间分辨力偏移，而其他方法通过简单插值将目标图像和源图像缩放到相同的空间分辨率来处理空间分辨力。**然而，对HR图像进行下采样以使其空间分辨率与低分辨率（LR）图像匹配将丢失HR纹理和特征，这对于SS任务非常重要。因此，当从高分辨率（HR）源域转换到LR目标域时，大多数最近的UDA模型总是无法在遥感中分割LR目标图像，尤其是对于遥感图像中的小对象。
在遥感界，空间分辨率偏移问题通常是由从各种传感器获取的遥感图像通常具有不同的空间分辨率这一事实引起的。例如，一些航空图像的空间分辨率为5厘米，而其他航空图像的分辨率为20厘米。在这种情况下，同一物体（例如汽车）在具有不同空间分辨率的两幅遥感图像中具有不同的大小（像素数），并且具有较低空间分辨率的遥感图像由于较弱的特征和较小的物体而更难以分割。当在具有不同空间分辨率的遥感图像之间执行UDA时，这些因素将显著影响分割性能。因此，如何解决空间分辨率偏移问题是一个重要的问题，需要在遥感界的实际应用中认真对待。以往这些SR辅助SS模型在片段LR图像方面取得了明显的性能改进，但它们不能直接用于UDA任务，因为它们是以监督的方式训练的。

在本文中，为了解决空间分辨率偏移问题，提高LR目标图像及其小对象的UDA能力，我们提出了一种用于遥感图像SR辅助SS的多任务域自适应框架DARSNet。所提出的DARSNet有三个关键部分：SS（DASS）分支的域自适应、SR（DASR）分支的区域自适应和特征亲和性（FA）模块。

• 具体地，DASS分支训练共享编码器和分割解码器以进行SS，并通过对抗性学习在输出空间中将目标域与源域对齐。
• 同时，DASR分支训练共享编码器和SR解码器以恢复HR目标图像，并通过对抗性学习对齐图像空间中的不同域。
• DASS分支和DASR分支共享相同的编码器，以提取目标域和源域的域不变SS和SR特征。
• 最后，我们应用FA模块（包括所提出的FA损失）来改善源图像和目标图像的SS特征和SR特征之间的相关性。

主要贡献总结如下：

1. 我们提出了一种新的多任务UDA网络DARSNet，用于LR遥感图像的跨域SS（SS）。我们的DARSNet包括三个模块，DASS分支用于在输出级别执行SS和UDA, DASR分支在图像空间执行SR和UDA, FA模块增强DASS和DASR分支之间的相关性。据我们所知，DASRSNet是第一个多任务DASR辅助遥感图像SS和LR的工作。
2. 我们建议将SR集成到流行的UDA方法中，这使得现有的UDA模型能够更好地分割LR目标遥感图像和小对象。广泛的实验结果验证了该SR辅助架构的有效性和鲁棒性。
3. 我们提出了一种新的FA损失，用于跨域遥感图像的SR辅助SS任务。所提出的FA损失旨在增强SS特征和SR特征在源域和目标域上的亲和力。

【论文速递 | 精选】

最后

以上就是刻苦白开水为你收集整理的【论文速递】TGRS2023 - DARSNet：遥感图像超分辨率辅助语义分割的多任务域自适应【论文速递】TGRS2023 - DARSNet：遥感图像超分辨率辅助语义分割的多任务域自适应的全部内容，希望文章能够帮你解决【论文速递】TGRS2023 - DARSNet：遥感图像超分辨率辅助语义分割的多任务域自适应【论文速递】TGRS2023 - DARSNet：遥感图像超分辨率辅助语义分割的多任务域自适应所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。