论文信息
原名：Thin cloud removal in optical remote sensing images based on generative adversarial networks and physical model of cloud distortion
译名：基于生成对抗网络和云畸变物理模型的光学遥感图像薄云去除
期刊：ISPRS Journal of Photogrammetry and Remote Sensing (IF=11.774)
发表时间：2020年6月
链接：https://doi.org/10.1016/j.isprsjprs.2020.06.021
1.研究背景
随着遥感技术的发展，基于光学遥感数据的应用更加广泛，如环境监测、目标检测和土地覆盖分类。然而，云层覆盖总是在视觉和数量上影响数据。其中，厚云层会阻挡来自地面的所有电磁信号，使背景信号难以恢复。与厚云层不同的是，地面信号可以通过薄云层到达传感器，这使得从接收到的信号恢复背景信息成为可能，一些低通滤波器和光谱方法已被提出用于薄云去除。随着卷积神经网络(CNNs)的广泛应用，人们提出了许多基于CNNs的端到端遥感图像去云方法。然而，这些网络训练通常需要成对的云和无云图像，而来自同一区域的成对云图像和无云图像通常不可得。因此，不需要成对图像的无监督方法是值得研究的。
生成对抗网络(GANs)作为一种深度学习模型，是近年来在复杂分布上最有前途的无监督学习方法之一。近年来，GANs已被用于图像重建和恢复这一常见的计算机视觉任务，有望解决遥感的薄云去除问题。本文提出了一种基于GANs和云畸变物理模型(CR-GAN-PM)的半监督方法来去除来自不同区域的图像中的薄云。
2.研究方法
(1)云畸变的物理模型
Mitchell等人(1997)首次建立了云畸变的物理模型，从卫星传感器接收到的信号如下：
其中x、y为像素坐标，I为太阳辐照度，r(x,y)和t(x,y)分别为地面反射率和云透射率，a为太阳辐照度衰减系数。r(x,y)和t(x,y)的取值范围为0~1。左边项aI r(x,y)t(x,y)表示来自地面的反射率退化，第二项I[1- t(x,y)]表示云的反射率。该物理模型只考虑反射率和透射率，忽略云层吸收，基于上述物理模型的去除结果可能不是最优的。因此，当从多云图像中去除薄云时，有必要考虑云层吸收。
图1 云畸变的物理模型
如图1所示，太阳辐射的传播由散射和吸收两个过程组成，这两个过程与云的厚度有关。根据能量守恒定律，同一方向上的吸光率、反射率和透射率之和为1，即
其中t为传感器图像，ρ(t)，γ(t)和β(t)分别为为云向上的透过率、反射率和吸收率，取值范围均为0到1，ρ(t)，γ(t)和β(t)会随光波长变化，如图2所示。
图2 薄云光谱响应曲线(反射率、吸收率、透过率)
考虑到云的吸收率和向下透过率，我们将薄云图建模为背景层和云层的融合。我们方法中云畸变的物理模型为：
可以看到，公式(3)的形式与原始公式(1)相似，但约束条件不同。当a(t)= ρ(t)=1时，γ(t)=0并且t=Iφ(t)，该条件为没有云层的情况，意味着背景反射的信号已经完全被传感器接收。当ρ(t)=0时，t=Iγ(t)，此为云层较厚的情况，意味着背景反射信号已经被云层完全屏蔽。为了简化式(3)，我们将工作中的物理模型重新定义为：
其中τ(t)= a(t)ρ(t) 称之为云的双向透射系数，满足
为了考虑云的吸收率，我们引入一个介于0到1之间的约束项α(t)，将上式转化为一个方程为：
其中α(t)=(1-a(t))ρ(t)+ β(t)，包含了云的吸收率。
云的双向透射系数τ(t)和反射率γ(t)与背景反射率φ(t)无关，但与云的厚度和光的波长相关。利用φ(t)，τ(t)，γ(t)和公式(4)可以重构传感器接收到的信号t，满足云畸变的物理模型。我们将φ(t)，τ(t)，γ(t)和公式4结合，重构无云的背景图像。在本研究中，我们只关注薄云的去除，并假设I = 1。在下一节中，我们将介绍φ(t)，τ(t)和γ(t)的解。
(2) CR-GAN-PM方法
CR-GAN-PM的图像分解基于两个原理：1)将云污染图像分解为不相关的背景层和云畸变层；2)利用云畸变的物理模型，可由背景层和云畸变层重构云污染图像。CR-GAN-PM的框架如图3所示。CRGAN-PM包含三个网络：提取网络(extraction network)、去除网络(removal network)和判别网络(discriminative network)。
图3 提出的CR-GAN-PM框架。提取网络用于提取云畸变层，去除网络用于将云图像转化为无云图像，判别网络用于区分输入的是否是真实的无云图像。
首先，给定输入云图像t，提取网络将t分解为三个云畸变层：双向传输层τ(t)、反射层γ(t)和约束层α(t)，该网络将t转换为无云的背景图像φ(t)。计算出背景图像和云雾畸变层之间的相关性，然后反馈给提取和去除网络，优化提取和去除网络的参数。然后，利用真实无云图像训练判别网络，对真实无云图像特征进行提取和识别。因此，判别网络能够判断φ(t)是否是真实的无云图像。评价结果反馈到去除网络中进行参数优化。最后，将φ(t)、τ(t)、γ(t)代入公式(3)中，得到重构结果R(t)，与输入t进行比较，并将比较结果反馈给提取和去除网络，更新各自的参数。
图4 去除网络(R)、提取网络(E)和鉴别网络(D)的详细组成部分。R和E采用相同的网络结构。每个块下面的数字是输出特征映射的数量。N是输入通道的数量。
如图4所示，去除网络R和提取网络E采用U-net架构。R的输出通道数与输入通道数相同。我们用Bi表示输入图像的第i个波段。由于云畸变层τ(Bi)、γ(Bi)和α(Bi)在每个波段是不同的，所以每个波段的输出通道数是3个，E的输出通道总数是输入的3倍。CR-GAN-PM的输入在0到1之间归一化，使用Sigmoid函数作为R输出的激活函数。
图4 CR-GAN-PM的详细流程图。Bi表示输入图像的第i个通道，φ(Bi)是去云后的图像，R(Bi)是重建图像。τ(Bi)、γ(Bi)和α(Bi)是从Bi中提取的双向透射、反射和吸收层。这个图只显示了4/3/2波段，但是CR-GAN-PM处理了所有波段(B1/B2/…/Bn)。
理想的薄云去除模型应该能够在保持背景信息不变的情况下，将有云的图像转换为无云的图像。我们为此训练移除网络R。如图5所示，CR-GAN-PM的输入是一个多光谱图像。对于每个光谱波段，CR-GAN-PM产生背景和云畸变层。CR-GAN-PM包括两个步骤：分解和重构，即第一步将输入图像t分解为背景层和云畸变层。第二步是利用这些层和云畸变的物理模型重建t。
结合式(4)所示，传感器接收到的信号t由背景反射率、双向云透射率和云反射三部分组成。因此，我们分别使用去除网络(R)和提取网络(E)生成背景层φ(t)，并从输入图像t中提取云畸变层τ(t)、γ(t)和α(t)。利用判别网络D从其他区域学习无云图像的特征。然后利用生成的背景层与真实无云图像(由D提供)的特征差，通过极大极小博弈，引导R生成更无云的背景层，D将无云图像和薄云图像分别视为实(1)和伪(0)。
3.实验区和数据
为了测试CR-GAN-PM方法的性能，实验使用了Sentinel-2A图像。Sentinel- 2A的详细数据见表1。Sentinel-2A是一个高分辨率的多光谱成像卫星，它携带一个多光谱成像仪(MSI)，用于陆地监测，覆盖可见光、近红外和短波红外的13个光谱波段，具有高空间分辨率(10米、20米和60米)。我们的主要想法是提出一种去除遥感图像中的薄云的方法，该方法将适用于大多数传感器，而不仅仅是Sentinel-2图像。由于可见光和近红外波段可以被大多数卫星获得，包括非常高的空间分辨率图像，我们在波段2/ 3/4/8上进行了实验。图5显示了三个薄云污染样品。可以看出，云的影响从蓝色到近红外波段逐渐减小。
表1 Sentinel-2A传感器带。加粗部分为CR-GAN-PM模型中使用的波段。
图5 Sentinel-2A数据中的薄云污染波段。行1/3/5和2/4/6是表2中第20、17和18图像对的云和对应的无云样本。列1为真彩色合成图像T, 列 2-5为波段2-4和波段8。
选择了20对云和无云Sentinel-2A图像，其中16对用于训练，4对用于测试。具体的实验数据如表2所示。培训和测试数据的获取日期为2018年3月5日至2019年7月8日。训练和测试数据都有统一的采集日期。
表2 在美国东海岸的训练和测试数据集的细节。CR-GAN-PM的训练数据仅为云图像(加粗部分)。成对的无云图像用于训练基于深度学习的端到端比较方法。
如图6所示，我们的实验研究区域位于美国东海岸。训练区用浅蓝色标示，测试区用浅红色标示。在整个研究区域内，检测区域的位置分布是均匀的。采集时间和位置的均匀分布将大大降低实验测试阶段的误差。
图6 实验研究区域。训练样本用浅绿色标记，测试样本用浅红色标记。
4.实验结果与讨论
为了比较CR-GAN-PM的性能，与其他六种方法进行了对比，包括三种深度学习方法和三种传统方法。深度学习方法包括U-Net、Cloud-GA和残差对称连接网络(RSC-Net)。Cloud-GAN是一种弱监督方法，不需要成对的无云图像。RSC-Net和U-Net都是端到端方法，需要对云图像和无云图像进行配对，但U-Net最初用于图像语义分割。传统的方法包括同态滤波(HF)、自适应同态滤波(AHF)、噪声调整主成分变换(NAPCT)。对于Cloud-GAN和CR-GAN-PM这两种不需要云和无云图像对的情况，只将训练数据中的云图像(加粗标记)裁剪为256×256像素的小块。然后我们将这些小块分成两个子集：云图像子集和无云图像子集。这些子集中的图像块分别被旋转90°、180°和270°，垂直和水平翻转，以增加训练样本的数量。利用该方法共获得76512个有云图像和82140个无云图像。对于需要成对的云和无云图像的U-Net和RSC-Net，我们将云和无云图像裁剪为256×256像素的小块，并使用相同的增强操作获得了69474个配对的云图像块和无云图像块。测试图像被裁剪成1231对云和无云的块。对于AHF和NAPCT方法，需要云掩码，我们通过Sen2cor获得像素级云掩码，Sen2cor是Sentinel-2的官方源代码。因为Sen2cor的云检测结果中包含了大量的高光，比如明亮的建筑物和道路，我们手动将这些高光隐藏到背景中。包括CR-GAN-PM在内的所有深度学习方法的训练都不需要像素级标签。此外，我们只在可见光波段2/3/4上训练CR-GAN-PM模型，实验结果为CR-GAN-PM-3。CR-GAN-PM-3用于估计近红外波段在CR-GAN-PM模型中重建可见光波段的贡献。
图7和图8是所有方法在两个典型的土地覆盖(农村地区和城市地区)上的结果，其中显示了2/3/4波段和每个波段的真彩色复合云层去除结果。表3和表4给出了图7和图8中算例的PSNR和SSIM值。图9和图10分别为CR-GAN-PM和CR-GAN-PM- 3在城市和农村地区恢复的背景和云畸变层。双向传输层越亮，该值越高。双向透射层的数值越高，云的双向透射率越高。
图7 表2第17幅图像对城区样本的视觉对比。列1和列 2分别为云污染图像和参考图像。3-5列为传统方法的结果，6-8列为深度学习方法的结果，9列为CR-GAN-PM的结果。B2、B3、B4、B8和T分别为波段2、波段3、波段4、波段8和真彩合成。
图8 表2第20幅图像对农村地区样本的视觉比较。列1和列 2分别为云污染图像和参考图像。3-5列为传统方法的结果，6-8列为深度学习方法的结果，9列为CR-GAN-PM的结果。B2、B3、B4、B8和T分别为波段2、波段3、波段4、波段8和真彩合成。
表3 图7(城市地区)三个实例对应的PSNR和SSIM值
表4 图8(农村地区)对应的PSNR和SSIM值
为了测试和分析输入波段数对CR-GAN-PM性能的影响，我们只使用2/3/4波段作为CR-GAN-PM(以CRGAN-PM-3模型表示)的输入和输出。结果表明，在无近红外波段输入的情况下，CR-GAN-PM-3恢复的背景层在视觉和定量上都比CM-GAN-PM差。这是因为近红外波段受云的影响比可见光波段小，因此模型可以从近红外波段提取更多的信息来恢复可见光波段的背景信息。相比之下，近红外波段的云畸变信息要比可见光波段少得多，近红外波段也有助于模型提取云畸变层。因此，CR-GAN-PM的云畸变层数优于CR-GANPM-3。在图9和图10中，我们还可以看到CR-GAN-PM-3的云畸变层比CR-GAN-PM更粗糙，包含更多的背景信息。
图9 云畸变层的比较。(a)为原始云和干净图像; (b)和(c)是CR-GAN-PM-3和CR-GAN-PM的结果;(b)和(c)中的第1-4行为恢复的背景层、双向传输层、反射层和校正层;(a)、(b)、(c)中的T、B2、B3、B4为真彩色合成，分别为波段2、波段3、波段4。
图10 云畸变层的比较。(a)为原始云和干净图像;(b)和(c)是CR-GAN-PM-3和CR-GAN-PM的结果;(b)和(c)中的第1-4行为恢复的背景层、双向传输层、反射层和校正层;(a)、(b)、(c)中的T、B2、B3、B4为真彩色合成，分别为波段2、波段3、波段4。
5.研究结论
本文将生成对抗网络与云畸变物理模型相结合，提出了一种新的半监督CR-GAN-PM方法，用于多光谱图像中的薄云去除。CR-GAN-PM模型将新的云畸变物理模型(考虑了云的吸收)与指导背景和云畸变层分解的两个基本原理相结合，以重建输入图像，即恢复被薄云污染的背景图像。
使用真实的云和无云Sentinel-2A图像验证CR-GAN-PM的有效性，并与另外六种传统的和深度学习的去云方法进行了比较。实验结果表明，CR-GAN-PM恢复的背景图像在视觉和定量上都优于传统方法和Cloud-GAN。与基于深度学习的端到端方法相比，CR-GAN-PM在2/3/4波段的表现几乎相同，在8波段的表现甚至更好。值得注意的是，CR-GAN-PM的训练不需要成对的云图像和无云图像，这与基于成对图像的方法有很大的不同。因此，CR-GAN-PM的训练数据收集非常节省时间，这使得CR-GAN-PM比基于成对图像的方法更容易应用于其他遥感图像。
CR-GAN-PM方法有以下局限性。图像中的厚云严重影响CR-GAN-PM去除云的性能。这是因为背景信息被厚厚的云层完全遮蔽，无法从云图中恢复。在未来的工作中，我们将把CR-GAN-PM方法应用于包含更多波段的多光谱/空间遥感图像，以提高其去除薄云的性能，并将CRGAN-PM应用于遥感图像中的云检测，生成云和云阴影的像素掩码。
6.文章引用格式
Li, J., Wu, Z., Hu, Z., Zhang, J., Li, M., Mo, L., & Molinier, M. (2020). Thin cloud removal in optical remote sensing images based on generative adversarial networks and physical model of cloud distortion. ISPRS Journal of Photogrammetry and Remote Sensing, 166, 373-389.
转自：“科研圈内人”微信公众号
如有侵权，请联系本站删除！
