原题：基于AD-HRNet模型的遥感影像语义分割
Xue Yang, Xiang Fan, Mingjun Peng, Qingfeng Guan, Luliang Tang, 2022. Semantic segmentation for remote sensing images based on an AD-HRNet model, International Journal of Digital Earth, DOI: 10.1080/17538947.2022.2159080.
作者简介：
杨雪，博士, 副教授, 中国地质大学（武汉）地理与信息工程学院。研究方向：基于众源数据的城市交通场景智能感知。
范响，研究生，中国地质大学（武汉）地理与信息工程学院。研究方向：基于众源数据的城市路网生成。
彭明军，博士，武汉市测绘研究院。研究方向：新型测绘技术。
关庆锋，教授，博导 中国地质大学（武汉）地理与信息工程学院。研究方向：时空大数据分析、挖掘、模拟与可视化。
唐炉亮，教授，博导，武汉大学测绘遥感信息工程国家重点实验室。研究方向：时空数据挖掘与知识发现。
01
摘要
高分辨率遥感图像的语义分割仍然面临类别权重不平衡、背景丰富、多尺度对象边界模糊等难点。针对这些问题，我们提出了一种新的模型:AD-HRNet。该模型结合HRNet与注意力机制和扩展卷积从而改善遥感图像语义分割精度。具体来讲，AD-HRNet通过引入中值频率平衡法解决类别权重不平衡的问题，并根据改进的加权交叉熵函数获得每个类别的权重值。此外，AD-HRNet框架中融合通道注意力和空间注意力的Shuffle-CBAM模块，通过略微增加计算量来提取更多的图像全局上下文信息。另外，为了解决多尺度对象分割和边缘分割导致的边界模糊问题，我们在AD-HRNet框架中开发了一个MDC-DUC模块来捕获多尺度对象的上下文信息和不规则对象的边缘信息。以Postdam、Vaihingen和SAMA-VTOL数据集为例，通过与8个典型的语义分割模型进行比较，验证了所提AD-HRNet的性能。实验结果表明，在Postdam和Vaihingen数据集上，该算法的mIoUs分别提高到了75.59%和71.58%。
02
方法
通过分析现有遥感图像语义分割模型的局限性，我们通过将HRNet与注意力机制和扩展卷积相结合，构建了一个新的框架(命名为AD-HRNet)，如图1所示。在我们的模型中，我们通过引入自行设计的shuffle-CBAM注意力模块和混合扩张卷积+密集上采样卷积(MDC-DUC)模块改进了原始版本的HRNet，同时保持了它的传统优势。具体来说，我们使用改进的加权交叉熵函数来代替HRNet架构中原有的交叉熵函数，以解决语义分割过程中类别不平衡的问题。我们在HRNet的每个模块中加入了shuffle-CBAM，融合了通道和空间维度上的特征图信息，而不会引起过多的计算。此外，我们还在AD-HRNet中加入了一个新的模块MDC-DUC，它通过混合卷积块来增加感受野的多样性，并解决了传统扩展卷积带来的网格化问题。在AD-HRNet框架中，我们使用可学习的上采样卷积来代替HRNet架构中传统的双线性插值方法来捕获和恢复丢失的细节，逐层融合得到最终的语义分割特征图。
（1） 改进的加权交叉熵损失
在本文中，我们通过添加中值频率平衡方法对原始的交叉熵损失函数进行了修改，以获得每个类别的权重，进一步削弱类别不平衡的影响，增强图像中比例较小的目标的分割精度。我们将每个类别的相应权重的计算等式添加到标准交叉熵损失函数中，并获得最终的加权交叉熵损失公式，如式1所示。
（2） Shuffle-CBAM
使用传统的注意力机制会增加较大的计算开销，通过分析CBAM的特征，我们开发了一个更轻量级的注意力模块：Shuffle-CBAM。结构如图2所示。Shuffle-CBAM的主要思想是首先根据通道数将输入特征图分成若干组。然后，属于每个组的特征图基于维度被进一步分类成两个组。再将空间注意力和通道注意力机制分别应用于每组的子特征图。在shuffle-CBAM的最后步骤，所有子特征被聚合，然后通过使用channel-shuffle机制进行交互。
（3） MDC-DUC
本文通过结合MDC(混合扩张卷积)和DUC(密集上采样卷积)模块的优点，构建了一个MDC-DUC模块来取代原始版本HRNet中的双线性插值模块。在MDC-DUC模块中，使用DUC块来恢复更多丢失的细节信息。所提出的MDC块被嵌入到原始HRNet的四个并行输出中，以扩展感受野的多样性，从而增加像素级的语义分割的准确性。本研究中设计的MDC块由三种不同扩张率(1，2，5)的扩张卷积组成，如图3所示。DUC块用于取代HRNet原始版本中使用的双线性插值(Sun et al. 2019)，如图4所示。DUC的主要思想是使用通道的数量来补偿之前的卷积运算(如双线性插值)导致的特征图大小的损失。此外，DUC是一个可学习的模块，可以比双线性插值更好地恢复图像细节。
03
实验
我们主要在Potsdam、Vaihingen和SAMA-VTOL数据集进行了相关的实验。表1和表2展示了我们和与8个典型的语义分割模型进行对比实验的结果。表3和表4为在Potsdam和Vaihingen数据集上进行的消融实验。最后为了验证我们模型的泛化性，我们在SAMA-VTOL的测试图像上进行了实验，如图5所示。实验结果表明，在Postdam和Vaihingen数据集上，AD-HRNet的mIoUs分别提高到了75.59%和71.58%。
来源：高性能空间计算智能实验室
https://mp.weixin.qq.com/s/eORAJMWOwGmDRVX4YlDUGA
转自：“测绘学术资讯”微信公众号
如有侵权，请联系本站删除！
