原名：Scribble-based Weakly Supervised Deep Learning for Road Surface Extraction from Remote Sensing Images
译名：基于涂鸦弱监督深度学习的遥感影像道路提取
期刊：IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING
发表时间：2021.03
DOI：10.1109/TGRS.2021.3061213
1.研究背景
道路提取是遥感图像处理领域中的一个基础性重要问题，在导航、地理信息数据库更新、灾害管理和自动驾驶等方面有重要应用。深度学习方法从遥感图像中提取道路表面已经取得了良好的进展，
现有的大多数方法都基于完全监督学习，需要大量的训练数据和像素级注释，即必须准备大量的道路表面的像素注释作为训练样本，导致在实践中很难得到应用。为了避免这种需求，弱监督学习在计算机视觉领域引起了越来越多的关注，利用弱监督技术提取遥感影像中的道路已经成为一种良好手段。
2.研究方法
1.道路标签制作
本文提出了一种上下文感知的道路标签制作算法，如图1所示。
图1.道路标签制作的过程
首先，考虑到道路网络的边界平行于道路中心线，应用基于缓冲区的策略来根据与道路中心线之间的距离推断基于缓冲的标签：分别以宽度a1和a2（a1＜a2）创建两个涂鸦缓冲区。第一缓冲区的像素表示为道路像素，第二缓冲区外的像素表示非道路像素和剩余像素。
第二，通过最小化能量函数，在训练图像上构建超像素图像。首先，使用简单线性迭代聚类（SLIC）来生成超像素。其次，将图像从RGB空间转换为HSV空间，然后计算所有超像素的颜色直方图。与涂鸦重叠的超像素被作为道路，在a2缓冲区之外重叠的超像素被作为背景。能量函数定义如下：
第三，在超像素节点处构建图形。对于每个节点，有两种类型的对应边。第一类边将节点与其相邻节点连接，另一类边则将其与前景节点和背景节点连接。
在第一种情况下，如果超像素xi与sr重叠，则分配标签cr时，成本为零。第二个情况，如果xi不与任何涂鸦重叠，则通过xi的归一化直方图和cr的累积直方图之间的Kullback-Leibler散度（KLDiv）计算成本。
最后，本文充分利用缓冲区推理和图构造，集成了基于缓冲区和基于超像素的标签：如果像素表示基于超像素中的道路、基于缓冲区标签中的非道路，则它们被标记为未知像素，其余像素的分配与基于缓冲区的标签一致。
2.双分支编码器-解码器网络
图2.双分支编解码器网络的结构。
如图2所示，双分支编码器-解码器网络（DBNet）的架构由一个编码器和两个解码器组成，模型输入为512×512的RGB图像。第一部分用ResNet-34作为特征编码网络，具有五个下采样层，最小缩放比为1/32。分割分支中256×256的特征图与边界分支中的相应特征连接。ASPP模块由（a）一个1×1卷积和三个并行的3×3 空洞卷积以及（b）全局平均池化组成，空洞卷积的空洞率分别为1、2和4。生成的特征最后被送到解码器部分。
对于边界分支，重新利用从分割网络中提取的多尺度特征。如图2所示，解码器中的512维度的特征首先进行双线性上采样，并与相应的低维128维度的特征进行拼接，并进行双线性上采样和卷积。然后，将特征图进行双线性上采样。每个卷积层由校正线性单元（ReLU）函数激活。两个分支使用S形激活分别输出每个像素属于道路表面和道路边界的概率。
DBNet利用了编码器-解码器架构、跳跃连接和双分支的优点，其中边界分支检测到的边界被用作先验知识来细化和指导分割分支。整体嵌套边缘检测（HED）边界检测器被应用于产生粗糙边界掩模，称之为HED边界掩膜。
分割分支和边界分支在结合分割损失和边界损失的联合损失的约束下集进行训练。
基于建议标签提供的两类标签，分段损失函数为：
边界分支的损失函数如下所示：
其中w和h是边界图的宽度和高度。
总的来说，联合损失为：
其中β是平衡分割损失和边界损失的系数。
3.研究数据集与评价指标
本文在三个不同的道路数据集上进行了实验：1）Cheng数据集；2） 武汉数据集；以及3）DeepGlobe数据集。这些数据集由来自城市、郊区和农村地区的高分辨率航空和卫星图像组成，覆盖世界各地约1665平方公里的总面积，地面分辨率从0.5米到1.2米不等。所有图像和相应的地面标签被无缝裁剪成512×512块，然后分为训练集和测试集。数据集的详细信息列于表I中，示例如图3所示。在实验中，道路中心线被用来制作典型的涂鸦监督。具体而言，Cheng数据集的地面真相包括手动标记的道路表面和中心线，而武汉数据集和DeepGlobe数据集仅有逐像素注释的道路标签；因此，对于这两个数据集，本文对道路表面标签进行了骨架化，以获得这两个道路数据集的中心线。
表1 实验道路数据集的详细信息
图3.Cheng数据集、武汉数据集和DeepGlobe数据集的示例（a） 影像（b） 路面标签（c） 道路中心线标签
采用精确度、召回率、F1分数和交并比（IoU）作为道路分割的评价指标，这些像素级评估指标定义如下：
4.实验结果
本文在Cheng数据集、武汉数据集和DeepGlobe数据集上评估了我们提出的ScRoadExtractor，并将其实验结果与最新基于涂鸦的弱监督分割方法进行比较，包括经典的ScribbleSup、边界感知指导（BPG）、弱监督显著目标检测（WSOD）方法、WeaklyOSM。
如表2所示，与所有数据集上的其他方法相比，ScRoadExtractor在F1和IoU方面都取得了最佳结果。ScribleSup在这些道路数据集上的表现很差，计算成本很高。对于Cheng数据集而言，ScRoadExtractor在F1和IoU的表现分别超过BPG 7.32%和10.24%。同样，在武汉数据集和DeepGlobe数据集上，ScRoadExtractor的IoU分别比BPG高4.41%和6.25%。ScRoadExtractor在最小的Cheng数据集上的表现略好于WSOD，但在武汉数据集和DeepGlobe数据集上表现更好，这表明WSOD仅处理相对简单的场景，缺乏强大的泛化能力。以WeaklyOSM的结果为基准，ScRoadExtractor在Cheng数据集、武汉数据集和DeepGlobe数据集上分别实现了4.81%、3.53%和5.43%的IoU提升。
表2 三种道路数据集上不同弱监督学习方法的实验结果，其中粗体值表现最好
图4-6显示在这些道路数据集通过不同方法预测结果的示例。可以看出，ScribleSup（c）的结果包含许多边界定位较差的非道路像素。如图5和图6的第一行所示，BPG（d）、WSOD（e）和WeaklyOSM（f）在从卫星图像中难以识别被建筑物和树木遮挡的道路，导致路段缺失和边界模糊。此外，可以看出，ScRoadExtractor（g）以更好的边界信息获得了与标签最相似的分割图，这表明本文模型能够更可靠地从遥感图像中提取道路。ScRoadExtractor采用最新的方法来改进和增强弱监督语义分割的性能。从图4-6可以看出边界分支的功能，ScRoadExtractor通过从连续边界学习，提取的道路结果具有更好的道路连通性。
表3显示，在武汉数据集上涂鸦标签的监督下，我们的方法相比于WeaklyOSM在F1上超过了6.44%，在IoU上超过了6.94%。ScRoadExtractor很好地概括了不同形式的涂鸦注释，不受早期约束的限制。
图4.在Cheng数据集上使用不同方法进行道路分割的结果（（a）影像（b）划线注释（c）ScribbleSup（d）BPG（e）WSOD（f）WeaklyOSM（g）ScRoadExtractor（h）像素注释（道路标签）
图5.在武汉数据集上使用不同方法进行道路分割的定性结果（a）影像（b）划线注释（c）ScribbleSup（d）BPG（e）WSOD（f）WeaklyOSM（g）ScRoadExtractor（h）像素注释（道路标签）
图6.在DeepGlobe数据集上使用不同方法进行道路分割的定性结果（a）影像（b）划线注释（c）ScribbleSup（d）BPG（e）WSOD（f）WeaklyOSM（g）ScRoadExtractor（h）像素注释（道路标签）
表3 基于武汉大学塔上模拟涂鸦的对比结果
5消融实验
消融实验通过使用不同缓冲区宽度和不同的监督策略来分析道路标签制作方法的影响。此外，进行实验验证了边界分支的有效性。首先，评估不同缓冲区宽度对掩膜标签生成的影响。使用不同a2值的结果如图7所示。当a2设置为最大道路宽度时，路面提取获得最佳性能。当a2逐渐增加或减少时，模型性能变差。如果a2太大，掩模标签接近基于经验缓冲区的掩模；如果a2太小，则建议掩码更接近基于图形的掩膜，可能包含许多噪声。
图7.Cheng数据集（a）、武汉数据集（b）和DeepGlobe数据集（c）上不同缓冲区宽度a2的F1（蓝色虚线）和IoU（黄色实线）曲线。
其次，我们研究了弱监督和完全监督对不同标签的训练影响。从表4中可以看出，使用我们提出的提案掩膜训练的DBNet获得了最佳结果。
本文还研究了辅助边界分支的影响。表5显示了基于ResNet-34骨干的不同分支的比较结果，这些分支都使用相同的建议掩膜进行了训练。对于Cheng数据集，仅使用分段分支（Seg），该模型在F1中获得79.87%。通过结合我们的边界分支F1实现了4.41%的提升。就武汉数据集而言，我们提出的DBNet产生了最好的结果。与仅使用Seg和引入BRN相比，DBNet在DeepGlobe数据集上的IoU分别提高了3.52%和1.53%。结果证明了我们的DBNet的泛化能力和有效性，以及设计良好的边界分支。
表4 三个道路数据集不同监督方法的对比研究
表5 边界分支的影响
6.研究结论
本文提出了一种基于涂鸦的弱监督学习方法，称为ScRoadExtractor，用于遥感图像中的道路表面分割，能够获得良好的结果。为了将语义信息从涂鸦注释传播到未标记的像素，我们引入了一种新的道路标签传播算法来生成建议掩膜。此外，我们引入了双分支编码器-解码器网络（DBNet），该网络对语义和边界预测进行了细化。
目前，很少有工作探索利用弱监督语义分割实现从遥感图像中提取道路。本文方法是这类工作的一部分，它最终将使我们实现利用更少的标注从遥感图像中自动提取道路。
7.引用格式
Y. Wei and S. Ji, "Scribble-Based Weakly Supervised Deep Learning for Road Surface Extraction From Remote Sensing Images," in IEEE Transactions on Geoscience and Remote Sensing, 2022, 60:1-22
转自：“科研圈内人”微信公众号
如有侵权，请联系本站删除！
