原名：Deep learning on edge: Extracting field boundaries from satellite images with a convolutional neural network
译名：边缘深度学习：利用卷积神经网络从卫星图像中提取农田边界
期刊：RSE Remote Sensing of Environment (IF：13.85)
发表时间：2020.08
DOI：10.1016/j.rse.2020.111741
1.研究背景
农田边界的数字记录是数字农业服务应用的要求之一，人工记录农田边界耗时费力，基于卫星图像的边界自动提取可大幅提升效率。传统的边界提取算法对图像质量和预处理的要求高，算法泛化能力低。本文提出了一种数据驱动的多任务语义分割模型，能够实现从卫星影像中自动提取农田的范围、边界并计算与最近农田边界的距离。模型能够从图像中学习复杂的上下文特征，以准确检测农田边界并舍弃不相关的边界；通过降低过度拟合和图像预处理要求，利用数据驱动的决策代替局部任意决策，促进大规模农田提取的研究发展。
2.研究区域和数据集
(1)研究区域
我们的实验区域包括一个主要研究区域和五个次要研究区域，主要研究区域是120000平方公里的南非“玉米方院”，农田面积平均为17公顷，范围为1公顷至830公顷（图1）。五个次要研究区域各占地10000平方公里，分别位于阿根廷、澳大利亚、加拿大、俄罗斯和乌克兰。
图1 主要研究区域。南非208667个可供训练和验证的农田的位置。农田颜色表示大小。35JLK中的农田用于验证，35JNK用于测试。其他瓦片中的农田用于训练。
表 1 主要和次要研究区域的信息。主要研究区域为120000平方公里，次要研究区域为10000平方公里。
（2）卫星数据和预处理
12个Sentinel-2瓦片覆盖了主要研究区域，次要研究区则由单个Sentinel-2瓦片的范围定义（表2）。人工生成了2017年3月的月度无云合成影像，以对应于生长季的中期。每个次要研究区域处理五到六张无云Sentinel2图像（表2），还从Sentinel-2合成窗口获取了最接近的无云Landsat-8图像（表2）。最后，对影像进行了两步预处理：从卫星图像中提取蓝色、绿色、红色和近红外波段；以及标准化像素值，使得平均值为零，标准偏差为一。
（3）参考和辅助数据
对于主要研究区域，从南非农业、林业和渔业部获得了研究区域内每个田地的边界，这些是通过基于2015年至2017年间采集的2.5米分辨率SPOT图像对全国所有田地进行手动数字化而生成的。将12个Sentinel-2瓦片随机分成训练（10个瓦片）、验证（1个瓦片）和测试（1个）集。Sentinel-2图像被分割成尺寸为256×256像素的图像，平均每块瓦片生成了6150个图像。
对于次要研究区域，首先从全球30米农田地图和全球粮食安全支持分析数据获取农田范围，创建了农田范围层。重新采样到10米后，使用OpenStreetMap中有关水体、道路和铁路的信息，进一步修正错误。然后，根据Sentinel-2图像和Google Earth图像，为每个次要研究区域手动数字化200个随机选择的农田。
3.研究方法
（1）模型结构
ResUNet-a模型是一种深度卷积神经网络，具有以下部分（图2b）：1）UNet架构，由捕获上下文的收缩路径和精确定位对象的对称扩展路径组成；2） 残差块，缓解梯度消失和爆炸的问题；3）不同膨胀系数的空洞卷积以增加感受野；4） 金字塔场景解析池用于捕获上下文信息；和5）条件多任务。ResUNet-a有四个输出层：农田范围掩膜、农田边界、距离掩膜，以及输入图像在HSV颜色空间的重建（图2a）。
图2.表示为多语义分割任务的农田边界提取。（a） ResUNet-a的多任务预测图概述。首先从特征图生成距离掩模，然后将其组合到特征图以预测边界掩模。两个掩膜都用于预测范围掩膜。独立分支重建输入图像。（b） ResUNet-a D6的体系结构。
（2）数据增强
数据增强能够增加训练数据的方差，增强了网络的泛化能力。本文翻转原始图像（水平和垂直反射；图3）并随机改变其亮度。由于训练数据集足够大，足以覆盖有代表的识别场景。
图3.南非输入图像的数据增强示例（256×256像素；27°16′S，27°28′E）。四行表示深度神经网络的四个输入：卫星图像、范围掩膜、边界掩膜和距离掩膜。为网络提供原始数据的随机转换能够提高其泛化能力。
（3）训练
使用Tanimoto distance with complements（Dice loss的一种变体）作为损失度量，能够在在多个任务之间保持良好的平衡。损失函数按照式（1）（2）（3）定义：
其中p≡pi∈ [0,1]，表示第i个像素的概率向量，li是相应的地面真值标签。对于多个分段任务，完整损失函数定义为所有任务损失的平均值：
（4）推理
训练后的模型利用前向传播可在任何256×256图像进行推理。卷积神经网络使用上下文信息进行预测时，分类精度会根据输入图像中对象位置的变化而产生变化。为了减轻这种影响，使用大小为256的移动窗口创建了16组输入图像，每个方向的步幅为64，有效地改变了输入图像中图像对象的位置。
（5）单个农田的提取
ResUNet-a能够学习并检测农田边界，但检测生成的边界难以完全闭合。为此提出了两种后处理方法，一种是基于阈值的方法（以下简称截止法），另一种是基于分水岭分割的方法（以下简称分水岭法），来检索并闭合边界。截止法通过对范围掩模和边界掩模进行阈值化来描绘各个农田（图4）。分水岭方法通过在三个输出掩模上应用种子分水岭分割算法来描绘各个农田（图4）。
图4.生成闭合边界和提取单个农田的后处理方法。
（6）阈值优化
第一步优化提取的农田范围（范围掩膜上的阈值），第二步优化农田的形状和大小（边界和距离掩模上的阈值）。
第一步，通过最大化阈值和农田范围参考图之间的MCC系数定义范围掩膜的阈值。MCC计算如下：
第二步，联合优化边界和距离掩膜的阈值，以最大限度地减少将较大对象错误细分为较小对象（过度分割）和将较小相邻对象错误合并为较大对象（欠分割）。使用以下公式根据参考场（T）和提取场（E）数据计算过分割率（Sover）和欠分割率（Sunder）：
使用多目标优化程序来调整平衡过度分割率和欠分割率，该程序首先在生成的候选对象中识别所有帕累托最优候选对象。最佳阈值由帕累托最优候选者给出，该候选者在过度分割和欠分割之间提供最佳折衷，即最接近1:1线（图5）。
图5.实例分割的帕累托最优候选中的最优阈值的识别。
4.实验设置
在基线实验中，使用Sentinel-2的单月合成数据评估了主要研究区域中方法的准确性。第二个实验将ResUNet-a识别农田边界的性能与传统边缘检测滤波器的性能进行了比较。最后一组实验旨在评估方法的泛化能力。
（1）基线实验：ResUnet-a D6与ResUnet-a D7
使用了两种类型的精度指标进行评估：基于像素的度量和基于对象的度量。像素精度指标是根据误差矩阵导出的两个全局精度度量来计算的：Matthew相关系数以及总体精度（OA）：
我们还计算了F-分数作为类精度指标:
除此之外，使用了四个基于对象的评价指标，前两个（过度分割率和不足分割率）是先前提到的，表示农田的不正确细分或不正确合并。第三个，偏心系数（ε）反映了形状的绝对差异
第四个位置偏移（L）表示实际农田和提取农田的质心位置之间的距离：
（2）与传统边缘检测的比较
将模型的边界掩模与Scharr滤波器检测到的边缘进行了比较。在每个光谱带中检测边缘，然后进行平均。我们从该层随机采样了1000个边界和内部像素以及边界掩模中的相应像素。由于边缘检测指示的是幅度而不是概率，因此我们通过基于幅度值的0.05和0.95百分位数将幅度值缩放到0和1之间来计算伪概率。
（3）模型泛化实验
1.单一日期图像的泛化性
本文测试了一个假设，即在不显著降低准确性的情况下，可以用单日期图像代替合成图像进行推理。我们将ResUNet-a模型应用于覆盖南非测试区域的单日期无云哨兵-2图像，并评估了像素和对象水平上农田提取的准确性。
2.分辨率和传感器的泛化性
我们通过将模型应用于覆盖南非测试区域的单日期Landsat-8图像，评估了该模型推广到另一个更粗糙传感器的能力。为了进行比较，使用最近邻算法将每月的Sentinel-2合成图像重新采样到30米，以匹配Landsat-8图像的网格。
3.跨空间和时间的泛化实验
最后，我们评估了模型在空间和时间上的泛化能力，方法是使用无云的单日期图像提取主要研究区域和次要研究区域的农田边界，并计算每个单日图像提取结果随时间变化的精度变化。
5实验结果
（1）模型选择
我们训练了四个版本的ResUNet-a D6和D7模型；前三个版本使用不同的权重衰减值进行参数化，最后一个版本以交互方式进行参数化。在每个epoch之后，计算测试集的损失函数和MCC（图6）。总体而言，ResUNet-a D7（更深的模型）的精度最高（MCC=0.82），该模型被选择用于所有后续分析。
图6.在涉及重量衰减（WD）的程序的模型训练期间，（a）损失函数和（b）MCC系数的变化。最佳训练（MCC=0.81）在80个时期之前实现，然后可以看到早期的过度拟合迹象。
（2）基线模型评估
基于像素的准确性度量评估了ResUNet-a D7模型的准确性（表4）。总体准确率为92%，MCC达到82%。耕地类的F分（89%）略低于非耕地类（93%）。与使用50%的默认阈值相比，调整范围图的阈值以最大化MCC仅造成边界差异（<1%）。
表4基于像素的南非基线实验范围图评估，将其推广到单日期图像和重新采样的30米哨兵-2图像
图7.南非农田提取实例。每张插图为77 km×40 km，中心位于27°E 45〃、27°S 33〃。
我们从南非测试区的Sentinel-2图像中提取了55720块面积达380公顷（的油田（图7）。在形状和位置方面，99%的农田得到了高精度识别（表4）。截止法取得了与分水岭法相似的结果。
（3）与传统边缘检测的比较
我们将ResUNet-a检索到的边界掩模与Scharr滤波器检测到的边缘进行了比较（图8）。基于边缘的方法产生了明显较弱的边界（P<0.001）和噪声更大的内部（P<0.01）。使用传统的边缘检测，内部像素平均比使用ResUNet-a获得的像素值更高，并且分布在更宽的范围内。
图8.在测试区域（27°E 49〃，27°S 30〃）的10 km×10 km区域，我们的模型检索到的边界与使用Scharr滤波器检测到的参考边界和边缘的比较。
（4）单日图像实验
用单日数据而不是月度合成数据对模型性能几乎没有影响（表5），过度分割率和欠分割率下降了0.02–0.05，表明从单一日期图像中提取农田边界是可行的选择。
表5 实验的基于对象的评估，用于单日期图像的推广，用于其他分辨率和传感器的推广，以及跨空间和时间的推广。
（5）分辨率和传感器的泛化性
重新采样到30米后，命中率仅降低了0.06。对于单个农田提取，结果表明，模型对分辨率的变化比传感器的变化更敏感（表5）。模型在尺度和传感器上表现出良好的泛化能力，因为它与Landsat-8数据和30米Sentinel数据取得了类似的性能
（6）跨时间和空间的泛化性
日期对南非农田提取的准确性有重大影响（图9）。命中率和位置偏移尤其受到影响，分别从0.75像素变为0.99像素和7像素变为17像素。日期的变化对次级研究区域的影响更为显著（图9）。例如，在加拿大，命中率在0.21到0.97之间，过度分割率在0.26到0.80之间。在所有指标中，离心率是最不敏感的。
虽然用单个图像能够实现农田高精度提取，但提取的成功程度取决于图像采集的日期。建立共识能够有效保持高准确性，提高了模型全面泛化的能力（图9和图10）。图11说明了所有二级研究区域的边界提取过程。
图9.时空概括的模型精度。x轴表示时间序列中的图像位置（单日期处理）或为建立合成而平均的图像数量（因此图像3的合成是图像日期1、2和3的时间平均值）。该模型能够在空间和时间上进行推广，但观察到了相当大的时间变异性。建立合成是一种简单而有效的方法，可以缓解这种准确性的差异：它通常至少与单日期预测一样好。合成方法的最大好处是通过四幅图像实现。
图10.为澳大利亚的图像子集。单日期掩模无法捕捉所有农田和所有边界，但可以在后期检测到遗漏。通过对多个预测进行平均，一致性方法在计算上是一种廉价的选择，以防止准确性损失。
图11.采用一致性方法的次级研究区域的提取：阿根廷（34°32′S，59°06′W）、澳大利亚（36°12′S，143°33′E）、加拿大（50°54′N，97°45′W），俄罗斯（45°98′N，42°99′E）和乌克兰（50°51′N，29°96′E）。每个插图代表整个100km×100km次级研究区的2.5km×2.5km子集。
6.研究结论
本文训练了一个语义分割模型实现从卫星图像中自动提取农田边界，模型依靠多任务和条件推理来预测每个像素属于农田、农田边界的概率，以及预测像素到最近边界的距离。通过对预测结果的后处理，实现实例分割并提取单个农田。通过利用光谱和上下文信息，展示了农田边界检测的最新性能，以及跨空间、时间、分辨率和传感器的良好泛化能力。
本文工作为使用深度学习进行大规模农田边界提取提供了研究基础：1）在每月的无云合成上训练模型，以最大限度地利用训练数据；2） 使用单日期图像预测农田边界仍能够获取较高精度；3） 根据至少四幅图像建立平均预测；4） 使用数据驱动程序组合模型输出。这些原理使图像预处理最小化，并用数据驱动的过程替代任意参数选择。我们认为，遵循这些原则将有助于生产许多数字农业应用所需的准确田间边界信息。
7.文章引用格式
WALDNER F, DIAKOGIANNIS F I. Deep learning on edge: Extracting field boundaries from satellite images with a convolutional neural network [J]. Remote Sensing of Environment, 2020, 245: 111741.
转自：“科研圈内人”微信公众号
如有侵权，请联系本站删除！
