论文信息
原名：Semi-supervised thin cloud removal with mutually beneficial guides
译名：互惠引导的半监督薄云去除
期刊：ISPRS Journal of Photogrammetry and Remote Sensing (IF=11.774)
发表时间：2022年9月
DOI:https://doi.org/10.1016/j.isprsjprs.2022.08.026
1.研究背景
光学遥感影像在地球观测中发挥着越来越重要的作用。然而，根据MODIS记录约55%的陆地表面被云覆盖，这极大地阻碍了光学遥感图像的解译和应用。去除云层和恢复土地信息一直是非常重要的研究课题。厚云通常呈块状，会导致大片地区完全看不见；而薄云不聚集，没有明确的边界，它们不会完全模糊陆地的能见度。光学卫星图像中被薄云遮挡的陆地信息往往是模糊的。因此，薄云光学图像虽然信息量大，但如何从图像中去除薄云，恢复被遮挡的土地信息，是一项要求很高的任务。
去除薄云的方法一般有四类，即基于统计的方法、基于光谱分析的方法、基于变换的方法、基于深度学习的方法。基于深度学习的薄云去除方法不局限于某些特定的波段或假设，通常在去除薄云方面表现良好。然而，已有的深度学习方法还存在两个限制：一是真正的有云和无云图像对数据不足，二是通常采用U-net或残差网络的基本结构来去除薄云，既没有考虑到多尺度的上下文信息，也没有考虑到云去除结果的高分辨率细节。本文提出了一种被称为互惠引导的半监督薄云去除框架，包括两个子网络的迭代训练来学习的，即Model benefactor network和Objective benefactor network。
2. 互惠引导学习
互惠引导学习通过两个网络Model benefactor network和Objective benefactor network的迭代训练来构建，在每次更新的迭代中，两个网络都将云图像作为输入，并输出云去除结果。其过程如图1所示。
图1 互惠引导学习框架
(1)模型引导
开发了一个自回归参数转移方案来实现有益的模型引导，如图2所示。它同时具有指数移动平均线的稳健性和验证的历史最优性的优点。具体来讲，在每次迭代时评估当前Model benefactor network在验证集上的性能，采用峰值信噪比(PSNR)作为评价指标。根据验证结果，选择历史最优的Model benefactor network，并将其参数通过指数移动平均来更新Objective benefactor network。
图2 有益的模型引导
(2)目标引导
有益的目标引导使得Model benefactor network能够在含无云图像的薄云图像，和无云图像不可用的薄云图像上训练，如图3所示。用薄云图像及其无云图像训练Model benefactor network时，以薄云图像为输入，以无云图像为优化目标。在没有无云图像的薄云图像上训练Model benefactor network时，利用Objective benefactor network的结果表征优化目标。Objective benefactor network仅以不包含无云图像的薄云图像作为输入，其输出用于指导Model benefactor network的训练。Objective benefactor network在每次迭代中为Model benefactor network的训练提供新的客观信息。
图3 有益的目标引导
3. benefactor网络
虽然Model benefactor network和Objective benefactor network在互惠引导中的作用不同，但它们具有相同的网络结构。Benefactor网络过程分为三个阶段。每个阶段以薄云图像为输入，输出去云结果。将原始云图裁剪为4个图像块，作为第一阶段的输入，裁剪为两个图像块作为第二阶段的输入，完整图像作为一个图像块作为第三阶段的输入，如图4所示。
图4 benefactor网络
(1)卷积块注意力模块CBAM
利用CBAM对薄云图像中的云进行空间和光谱定位。它以薄云块为输入，输出处理后的特征，如图5所示。通道注意力模块是CBAM的第一部分，多光谱波段记录来自陆地物体的反射信号。薄云对某些波段(如:SWIR1, SWIR2)的影响要大于其他波段(如:R, G, B)。通道注意力模块使得这些波段在地物提取中所占的比例要大于其他波段。空间注意力模块是CBAM的第二部分，它有助于发现感兴趣的薄云区域，并挖掘出哪些区域是空间信息。
图5 卷积块注意力模块
(2) 跨尺度融合结构
阶段一的子网络与阶段二的子网络相同，类似于U-net进行编码-解码结构。它有两个下采样层和两个上采样层，所有的下采样和上采样操作丰富了接受域，帮助benefactor网络获取上下文信息，提高了土地纹理的空间连续性。第三阶段的子网络总是处理原始含云图像大小的特征，它由一系列残留特征处理块组成，重点是对云去除结果进行像素到像素的高分辨率细化，结构如图4所示。
阶段一的去云结果与阶段二的子网络输入相连接，阶段二的去云结果与阶段三的子网络输入相连接。这样可以进一步处理和细化前两个子网络的去云结果。同时，采用了跨三个阶段的特征融合。阶段一的子网络输出的特征被上采样后加入到阶段二的相同位置，阶段二的子网络输出的特征被上采样后加入到阶段三。特征融合和对去云结果的进一步处理构成了跨尺度内容融合。
4.实验数据
在研究中使用了Landsat- 8和Sentinel-2A图像。Landsat-8的详细情况见表1。Landsat-8覆盖多个空间分辨率波段(即15米、30米、100米)，研究采用Landsat-8波段1-7。Sentinel-2A具有比Landsat-8更高的空间分辨率(即10米，20米，60米)。Sentinel-2A的波段细节见表2。研究采用了空间分辨率为10m的R、G、B和NIR波段(即波段4, 3, 2和8)。
表1 Landsat-8的波段信息
表2 Sentinel-2A的波段信息
(1) Dataset-L数据集
从(Li et al., 2019b)收集8对数据中，选择两对和两张没有无云图像的云图作为Dataset-L的训练数据，并保留两对测试数据作为测试数据。所有图像被裁剪为256 × 256大小，共有416对和416张不含无云图像的多云图像组成训练集，52对组成验证集，468对组成测试集，具体情况见表3。
表3 Dataset-L数据集中训练和测试图像的细节
(2) Dataset-S数据集
从(Li et al., 2020a)收集的16对数据中选择两对和两张没有无云图像的云图，形成数据集的训练数据，保留他们的四张测试图像对作为测试数据。裁剪后，训练集中有675对和675张没有无云图像的多云图像，验证集中有225对，测试集中有900对，详细信息如表4所示。
表4 Dataset-S数据集中训练和测试图像的细节
5.实验结果分析
实验选取的评价指标包括峰值信噪比(PSNR)、结构相似指数度量(SSIM)、解释方差分(EVS)和梯度误差(GE)，四个对比方法为残差对称串联网络(RSC-net)，多尺度生成对抗网络(MS-GAN)，具有云畸变物理模型的生成对抗网络(CR-GAN-PM)和多光谱条件生成对抗网络(McGANs)。
(1) Dataset-L实验
在Dataset-L数据集上的一个去云结果如图6所示。表5中样本结果的PSNR、SSIM和EVS进一步辅助观察结果。另外5个样本进行进一步的视觉对比，如图7所示。四种方法在整个测试集上的归一化GE如图8所示。
图6 Dataset-L数据集复杂地形样本上不同方法的薄云去除结果
表5 Dataset-L数据集测试集的平均PSNR、SSIM和EVS
图7 Dataset-L数据集不同方法在五个样本上的薄云去除结果
图8 不同方法在Dataset-L数据测试集上的归一化梯度误差曲线
(2) Dataset-S实验
Dataset-S数据集的一个样本去云结果如图9所示。表6中样本结果的PSNR、SSIM和EVS进一步辅助观察结果。我们从Dataset-S中选择5个样本，如图10所示。我们的结果在真彩色图像和GE地图方面都最接近无云图像。所有测试样本的归一化GE如图11所示。
图9 Dataset-S数据集不同方法的薄云去除结果
表6 Dataset-S数据集测试集的平均PSNR、SSIM和EVS
图10 Dataset-S数据集不同方法在五个样本上的薄云去除结果
图11 不同方法在Dataset-S数据测试集上的归一化梯度误差曲线
(3)消融实验
以Dataset-L数据集为例，互惠引导框架中Model benefactor network和Objective benefactor network的实验结果如表7所示，证明了在单一网络的基础上，互惠引导框架提高了性能，Objective benefactor network提供其去云结果，以帮助训练Model benefactor network。
表7 Dataset-L测试集不同网络的平均PSNR、SSIM和EVS
进一步比较了三个模块的影响(即CBAM、阶段一和阶段二的U-net块，以及阶段三的残余块)对单个benefactor网络的云去除，实验结果如表8所示。
表8 Dataset-L测试集不同模块的平均PSNR、SSIM和EVS
6.研究结论
本文提出了一个半监督的薄云去除框架，即互惠引导，由模型引导和目标引导组成。它们是通过训练Model benefactor network和Objective benefactor network来实现的。Model benefactor network的训练得益于Objective benefactor network的有益引导和去云效果，将没有无云图像的有云图像纳入训练，从而以半监督的方式增加了一般不充分的除云训练数据。Objective benefactor network受益于有益的模型指导，并由历史Model benefactor network迭代更新，这有利于Objective benefactor network的稳健性及其结果的可靠性。互惠引导的框架使两个benefactor网络在互导去薄云的基础上逐步增强。此外，在benefactor网络中采用了跨内容融合结构，在云去除结果的相干性和高分辨率上都表现良好。
在真实Landsat-8和Sentinel-2A图像上的云去除结果表明，互惠引导在真彩色图像和几个波段的平均值上都显著提高了单个网络的性能。具有跨尺度内容结构的单个benefactor网络在所有指标上都优于其他方法。在实践中，将待处理的目标薄云图像以互惠引导的方式进行网络训练，有利于最终的去云结果。
7.文章引用格式
Xu, Z., Wu, K., Wang, W., Lyu, X., & Ren, P. (2022). Semi-supervised thin cloud removal with mutually beneficial guides. ISPRS Journal of Photogrammetry and Remote Sensing, 192, 327-343.
转自：“科研圈内人”微信公众号
如有侵权，请联系本站删除！
