以下文章来源于武汉大学学报信息科学版 ，作者张新长等
本文改编自学术论文
《高分辨率遥感影像耕地提取研究进展与展望》
即将刊载于《武汉大学学报（信息科学版）》2023年第10期
张新长 1，黄健锋 2*，宁婷 3
1 .广州大学地理科学与遥感学院，广东广州，510006，
2. 中山大学大气科学学院，广东珠海，519082
3. 广东中地土地房地产评估与规划设计有限公司，广东广州，510399
张新长
张新长，教授，博士生导师，主要研究方向为城市地理信息系统。
E-mail:zhangxc@gzhu.edu.cn.
摘 要
耕地资源的快速、精准提取是支撑耕地保护和耕地用途管制的重要基础。随着高分辨率遥感和人工智能技术的快速发展，高分辨率遥感耕地提取已逐渐由传统的基于像元和面向对象的分类算法过渡至以深度学习为代表的智能化耕地提取新阶段，并取得不少成果，但也同样面临着诸多挑战。本文首先梳理和分析了传统耕地提取算法和基于深度学习的智能化耕地提取算法的研究现状，阐述了深度学习支持下的耕地提取研究的必要性；然后结合全卷积神经网络的发展历程介绍了深度语义分割技术的基本原理以及在耕地提取应用中的实验流程，并归纳了主要的智能耕地提取算法；最后，围绕智能化耕地提取研究存在的不足，探讨了智能化耕地提取技术的发展趋势。
引 用
张新长，黄健锋，宁婷. 高分辨率遥感影像耕地提取研究进展与展望[J]. 武汉大学学报（信息科学版），2023，DOI：10.13203/j.whugis20230114（Zhang Xinchang, Huang Jianfeng, Ning Ting.Progress and Prospect of Cultivated Land Extraction from High Resolution Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2023, DOI: 10.13203/j. whugis20230114）
农业发展维系着国民经济的命脉，深刻影响了社会的稳定与发展。在当前耕地资源日益紧缺、人口膨胀、生态环境污染问题突出的背景下，加快推进农业农村现代化，借助科技创新实现农业高产、高效、生态协调发展的目标，是我国今后相当长时期内必须应对及解决的重大问题。耕地资源快速、精准提取是现代化农业得以顺利决策和实施的基础，也是精准农业生产系统的必要组件。遥感技术能从多维度、多周期获取地表覆盖及耕地信息，对精准农业起到关键支撑作用。因此，开展基于遥感技术的耕地资源提取研究是必不可缺的。随着遥感对地观测技术的快速发展，耕地的获取呈现出“空-天-地”一体化的趋势。相比于中低分辨率遥感卫星难以探测小尺度耕作区（尤其是中国南方地区起伏不定的细碎耕地），基于米级甚至亚米级的高分辨率影像更有助于对耕地信息及农作物生产信息的动态监测。尽管如此，高分辨率影像仍存在着严重的“同物异谱、同谱异物”现象，耕地对象的多样性以及易混淆性（图1）也给耕地提取任务带来了极大挑战。除此之外，目前耕地资源的遥感监测和督查仍过多依靠于人工目视解译和现场巡察，造成了耕地破坏、侵占等相关违法行为的整治陷入“发现难、防控难、认定难、执法更难”的窘境，大面积耕地排查也面临着周期长、人力成本大、效率低下等挑战。如何提升耕地资源遥感动态监测的精确化和智能化水平，是遥感科学等领域须着重解决的难题之一。近年来，随着深度学习等人工智能技术的快速发展，利用深度知识学习理论与方法实现建筑物、道路以及耕地等地物提取的研究得到展开。其中，新涌现的基于全卷积神经网络（FullyConvolutionalNetworks，FCNs）的深度语义分割技术因其具有良好的分类准确度和自动化水平，有效改进了传统的分类模式[6]，成为了目前遥感地学应用的前沿和研究热点之一。本文在分析传统耕地提取方法基础上，指出深度学习支持下的耕地提取研究的必要性，并简要回顾深度语义分割技术的研究历程，归纳出当前智能化耕地提取技术存在的不足，并进一步探讨智能化耕地提取研究的发展趋势。
图 1 耕地对象的多样性（a）和易混淆性（b）
1 高分辨率遥感影像耕地提取
在过去几十年里，全球范围内有关耕地信息提取和农田制图的研究大多采用中/低空间分辨率的遥感影像。文献[10]基于决策树分类算法和MODIS影像（≥500米）实现了全球尺度的土地覆盖分类制图。随着Landsat卫星影像的公开使用以及GoogleEarthEngine平台的发展，不少研究者改用分辨率更高的Landsat影像（30米）进行遥感制图。近年来，哨兵2号（Sentinel-2）卫星影像也被广泛应用于土地覆盖制图、农作物分类以及植被生物量监测，这主要得益于Sentinel-2影像具有更高的空间分辨率（10米）和更丰富的波段信息。基于Sentinel-2时间序列影像往往可以获得更好的预测结果，但需要增加额外数据预处理工作，比如云层掩膜、时间间隙填充和图像超分辨率等。如今，高分辨率遥感卫星为我们提供了亚米级空间分辨率下的遥感影像，而航空/无人机遥感技术的发展更是让遥感影像的空间分辨率达到厘米级。这些影像提供的丰富空间细节以及上下文特征对于获取高精度的耕地信息十分重要。然而，目前针对米级到亚米级影像的耕地提取研究仍然相对较少，尤其是针对我国南方地区起伏不定细碎耕地的大场景监测。高分辨率遥感影像存在的“同物异谱、同谱异物”现象给耕地自动化提取带来了挑战。尽管现有利用机器学习算法进行耕地提取的研究较多，例如决策树、支持向量机、人工神经网络等，但这些算法通常只利用各个像元所含有的光谱信息，忽视了对空间上下文信息的有效利用，导致了分类结果出现明显的“椒盐”现象。为解决该问题，学者们纷纷提出各种空间和形状特征，如灰度共生矩阵、数学形态学特征以及旋转不变性特征等。然而，这些特征仍属于低层级特征，无法表征图像的语义内涵，且不少特征为人工设计，必须经反复挑选和交叉验证方能有效应用。此外，也有许多研究采用了面向对象的分类算法来解决“椒盐现象”等问题，但该类算法对分割对象的准确度提出了要求。以上传统的耕地提取算法虽然已得到学界和生产业务部门的广泛使用，但仍存在着以下不足：①传统分类算法比较依赖人工设计的低层级特征，缺乏对高层级语义特征的表征和利用，难以应对复杂场景的耕地信息提取；②面向对象分类算法对图像分割尺度和分类规则的设定比较依赖，造成人工参与程度过高，其自动化水平有待提升；③高分辨率传感器多样性、成像环境多变性、场景目标复杂性、耕地变化分散性等因素也加剧了传统分类算法所面临的困难与挑战。总而言之，随着遥感影像空间分辨率的提高，传统分类算法尚未能自动化地适应新型传感器以及满足海量高分遥感数据智能解译的需求。这也催生了学界和业界对以深度学习为突破口的期待。
2 深度学习支持下的耕地提取技术
2.1
全卷积神经网络
随着卷积神经网络（ConvolutionalNeuralNetworks,CNNs）在图像目标检测、场景分类等应用中取得良好表现，不少研究者将CNNs应用到图像语义分割任务中。文献[23]提出一种多尺度CNNs模型，能够从不同大小的超像素分割对象中学习多层级特征，并有效提高了对象分类精度。除了将CNNs用于超像素对象外，也有学者将CNNs应用到图像块（Patch）上，首先利用CNNs对斑块进行特征提取和类别判断，将得到的类别赋予斑块的中心像元，然后逐像元地对以每个像元为中心的斑块进行滑窗式扫描，从而得到最终的语义分割结果。上述方法虽然避免了人工图像特征的设计，但需要选择合适的斑块尺寸，过大或过小的斑块输入都直接影响DCNNs的分类精度，而且将斑块类别代替中心像元类别的做法仍值得商榷。传统的DCNNs分类模型利用池化操作增加
的感受野，从而获得更抽象、更高层级的特征，这对于空间位置不太敏感的分类任务而言比较有用。然而，特征层级越高，其空间分辨率也变得越低，再经过全连接层压缩往往只能得到固定长度的一维特征向量，这导致了DCNNs模型应用到图像语义分割时无法直接获得输入图像中所有像元的标注结果。为了克服这一难题，文献[5]在2015年提出了一种通过可端到端学习（End-to-End）得到输入图像所有像元语义标注结果的全卷积神经网络FCN-8s。与CNNs模型不同，FCN-8s模型先利用CNNs模型抽取图像的层次化特征，但不直接输出固定维度的特征向量，而是将原来CNNs模型的全连接层替换成卷积层，从而得到具有高层级语义的特征图。紧接着，FCN-8s模型利用反卷积操作将得到的低分辨率特征图上采样，使其恢复到原始图像的大小。最后利用交叉熵损失函数计算所有像元的分类损失总和。由于缺少对图像空间和边缘信息的有效利用，FCN-8s模型得到的分割结果仍然相对粗糙。近年来，研究人员对图像语义分割的研究方兴未艾，各类FCNs模型层出不穷，例如SegNet、U-Net、DeepLabv3+等。大部分模型基本了采用编码器-解码器的网络架构。图2展示基于DeepLabv3+模型的耕地提取应用示意图。总体而言，目前FCNs模型的改进思路主要有以下几种：一是如何更有效地利用编码器的低层级特征来优化解码器上采样的结果；二是如何通过多尺度特征学习，比如利用空洞卷积等操作扩大神经元感受野，从而使模型学习到更多的全局特征；三是结合先验的对象分割边界信息，降低学习的复杂度；四是结合人类视觉认知机制，在设计FCNs模型时增加对特征显著性以及空间位置显著性的判断，从而优化模型的整体学习效率。
图 2 基于 DeepLab v3+模型的耕地提取示意图（源自文献[29]）
2.2
高分辨率遥感影像耕地提取流程
图3展示了基于全卷积神经网络的高分辨率影像耕地提取流程，主要步骤包括：①数据准备，包括样本标注、图像裁剪、图像扩充（旋转、翻转、亮度调整）等，以增强训练样本的多样性；②模型训练，对训练过程的超参数和结构层特征数量进行调整；③模型预测，对分块图像进行预测，然后有重叠地进行合并，重叠位置处取分类概率均值，最后输出全分辨率的分类结果；④分类评价，采用混淆矩阵以及常用的遥感图像分类评价指标来检验模型的有效性。
图 3 基于全卷积神经网络的高分辨率影像耕地提取流程
2.3
基于深度学习的耕地提取算法
近年来，深度语义分割技术在遥感地物提取方面取得显著进展，如建筑物、道路、水体、不透水面和云影提取等方面。针对耕地提取任务，也有不少算法相继被提出。文献[37]分别采用了1维卷积神经网络（Conv1D）和长短期记忆人工神经网络（LongShort-TermMemory,LSTM）实现Landsat影像的多时相耕地分类，其中，模型的输入主要为单个像元的一维特征向量；文献[29]利用开源的DeepLabv3+模型迁移到耕地提取任务中，实现了基于1米空间分辨率WorldView影像的小农耕作区提取，其研究结果表明，深度语义分割技术相比于传统机器学习算法能获得更高精度的耕地对象。除了应用已有的开源语义分割模型之外，不少学者还针对深度语义分割模型做进一步优化。文献[39]采用改进的金字塔场景解析网络MPSPNet和UNet模型实现了山东省2米空间分辨率的耕地提取，并探讨了深度语义分割模型在大尺度耕地提取的适用性；文献[40]基于集成学习的方式，将四种深度语义分割模型的预测结果进行均值合成,从而获得最终的耕地提取结果，实验结果表明，集成后的深度语义分割相比于单一模型能有效减小分类偏差。由于深度语义分割模型得到的分类结果时而粗糙，因此有学者将分类后处理方法引入到耕地提取任务中。文献[41]首先基于轻量级的深度语义分割模型LWIBNet获得耕地分类图斑，然后采用数学形态学算法对分类图斑进行优化；文献[42]则首先利用SegNet模型获得WorldView影像的稀疏耕地图斑轮廓，再采用分水岭转换算法从轮廓提取结果中导出层次分割对象，然后运用组合分组算法和依照一定的合并规则实现相邻分割对象的合并，从而优化耕地轮廓的提取质量。深度语义分割技术在实际耕地监测应用中也得到了推广，众多商业公司所研发的遥感智能解译平台（例如PIE-AI和SenseEarth等）均提供了针对农业监测服务的功能模块，通过结合遥感大数据云平台的海量数据处理能力，可高效获得精度较高的耕地信息。本文作者一直开展有关耕地智能识别的应用研究，图4展示了基于深度语义分割模型和Pleiades卫星影像实现的珠海市农田地块的分类应用。总体而言，相比于传统分类算法，基于深度学习的耕地提取算法具有较大应用潜力，其优势在于它能够自动化学习图像的低-中-高多层级特征，且具有端到端图像分割和像元级标注能力，有效改进了传统的作业模式。
图 4 基于深度语义分割模型的耕地提取结果
3 智能化耕地提取技术存在的不足
以深度学习为代表的人工智能技术是目前实现智能化耕地提取的重要手段，也是当前遥感地学应用的前沿和研究热点之一。尽管如此，当应用于耕地提取任务时，深度语义分割技术仍面临着不少挑战，造成其无法快速地应用于大场景的耕地监测。其具体问题表现在：
1）分类结果边缘细节易丢失且精度待提高
相比于具有清晰边缘的建筑物、道路等人工地物，耕地对象的边缘往往只能通过不规则且狭窄的田埂予以辨析，尤其是对于南方地区而言，起伏不定的细碎耕地其边缘细节更为模糊。然而，由于深度语义分割模型在抽象学习图像高层级语义特征时丢失了大量的空间细节信息，导致其上采样过程中无法恢复分割对象的几何特征，最后使得耕地对象的边缘细节缺失情况愈发严重。此外，目前针对耕地提取任务所设计的深度模型仍相对较少，大多直接采用计算机视觉领域开源的模型进行参数微调和训练评估，其在耕地提取任务的精度尚待提高。
2）忽视了作物物候特征差异对分类的影响
不同于其它人工地物（例如建筑物、道路、不透水面等），耕地在不同时期的成像差异较为明显，其内部状态也时常发生改变。这主要由于耕地内部可能栽种着不同类型的农作物，而农作物在适应周期性变化的光照、降水、温度等条件下形成了不同的物候现象。因此，不同类型的农作物及其物候特征差异给耕地田块的精确识别造成了不少困难。然而，现有的深度语义分割模型主要采用单一时相影像数据作为输人，这往往忽视不同物候期光谱特征对耕地识别的贡献，并在一定程度上制约了模型的学习能力。因此，将耕地对象相关物候特征等先验知识融入深度模型中，有望进一步改善耕地提取结果。
3）模型训练数据集采集成本高昂
训练深度语义分割模型往往需要大量的标注样本，尤其是对于高分辨率耕地提取任务而言，耕地对象的形态多样性和周期变化差异性给人工标注增添了不少难度。不同于其它人工地物提取任务，目前针对耕地提取任务所开源的标注数据集相对较少，大部分应用研究的开展仍需从样本标注环节抓起，这也极大增加了智能化耕地提取技术的应用推广难度。
4）模型领域自适应性能力较弱
领域自适应性较弱一直是深度语义分割技术的通病，即当目标域数据集与源域数据集在成像条件或场景特征差异明显时，模型的分类表现将极为不稳定，分类精度可能大幅降低。特别是对于耕地提取任务而言，所面对的分类场景相比于常见的建筑物提取任务更为复杂，需要综合考虑高分辨率传感器的多样性、成像环境和耕地目标的复杂性等因素。缺乏领域自适应性的原因主要是大部分模型并不是为迁移而设计的，它们对源域和目标域的标注样本存在依赖性。这也导致了这些模型应用于大场景耕地监测时，会面临分类结果较差以及目标域样本采集代价高的风险。因此，智能化耕地提取研究还需要着重解决场景泛化性的难题。
4 智能化耕地提取研究展望
针对上述智能化耕地提取研究存在的不足，下面分别从样本库构建、模型库研制以及平台集成与示范三方面探讨智能化耕地提取研究的发展趋势。
1）耕地标注样本库构建与共享
高分辨率影像具有数据量大、光谱波段少、地物类型多样、目标尺度不一、几何纹理特征丰富等特点，给耕地的精确识别带来了不少挑战。构建可用性高、特征多样性丰富的耕地标注样本库是提高深度语义分割模型分类精度的重要基础。为此，需要采集不同平台传感器、不同场景（有/无云、阴影遮盖、规则/不规则耕地分布）以及不同粒度大小的耕地标注样本，以用于模型训练以及泛化性方面的验证；此外，还可以借助图像扩充、生成对抗网络等方法来增广样本库的规模；由于目前适用于应用研究的开源耕地标注样本数据较少，可考虑将第三次农业普查的人工耕地标注样本进行整合与共享，以降低样本库构建的成本。
2）耕地提取模型库研制与评估
利用深度神经网络虽然能够挖掘高分辨率遥感影像的低-中-高多层级特征，但是如何更好地将这些特征进行融合与选取以用于耕地目标识别目前尚未明确。此外，耕地内部农作物的多样性以及物候光谱特征差异性也在一定程度上影响着耕地识别。然而，现有基于深度神经网络的耕地提取算法尚未能有效表征和利用这些先验的物候光谱特征，也无法量化这些特征在网络中对耕地识别结果的影响如何。因此，在深度网络知识学习驱动下，如何综合应用多源高分辨率遥感数据、地物目视解译原理、物候光谱知识以及深度语义分割技术，科学地揭示耕地目标的识别过程和机制，是智能化耕地提取研究的关键问题之一。为解决这一问题，应考虑研制具有知识推理和可解释能力的深度学习算法，以提升多层级图像特征的融合与利用质量，并通过融入相关先验知识使深度语义分割模型具有更强的认知水平；此外，应进一步改善深度语义分割模型的领域自适应性，例如通过采用半监督和无监督等领域迁移技术，使模型在场景差异明显的源域和目标域数据集中依旧具有鲁棒性；最后，可考虑将目前适用于耕地提取任务的深度语义分割模型进行集成，构建相应的模型库，并对模型库开展大场景耕地监测应用以及迁移可靠性分析研究，以降低日后研发和推广应用的成本。
3）智慧耕地监管平台集成与示范
加强耕地保护和用途管控等内容在2023年中央一号文件中被明确提及，这为落实最严格的耕地保护制度提供了新指引。基于“天-空-地”一体化的遥感监测手段可以对耕地实施动态的监测监管。高分辨率遥感影像与AI人工智能算法的结合提升了耕地资源监测的智能化水平，有助于长效、全面地掌握耕地规模、分布、数量、质量、种植用途和开发利用保护等情况。通过集成智能化耕地提取技术和国土空间规划自然资源“一张图”，可构建以耕地用途管制为核心的智慧耕地监管平台，以支撑耕地用途管制、非粮化和非农化监管业务管理工作的开展，实现耕地和永久基本农田的保护，提升耕地资源管理的现代化能力。
5 结语
耕地资源的快速、精准提取是支撑耕地保护、耕地用途管制、“双非”监管业务管理工作开展的重要基础。高分辨率遥感耕地提取已逐渐由传统的基于像元和面向对象的分类算法过渡至以深度学习模型为核心的智能化耕地提取新阶段。解决多源高分辨率遥感数据与深度语义分割技术在耕地提取中的应用难题，将有助于提升我国耕地资源动态监测的精确化和智能化水平，并进一步为农业估产、农业灾害分析、国土空间规划实施等诸多方面应用提供稳定可靠的技术支撑。当前，智能化耕地提取技术仍面临着分类结果较为粗糙、领域自适应性较差以及训练数据集采集成本高昂等挑战。应构建具有高可用性的耕地标注样本库，并通过研制耕地提取模型库，发展具有知识推理和可解释能力的深度学习模型，以科学地揭示耕地目标的识别过程和机制，使模型的认知水平得到提升。基于此，还应建立稳健的领域迁移学习机制，使模型在大场景耕地监测应用中具有较强的鲁棒性。最后，通过集成智能化耕地提取技术与国土空间规划自然资源“一张图”，研发以耕地用途管制为核心的智慧耕地监管平台，以全面掌握耕地规模、数量、质量、种植用途和开发利用保护等情况，从而提升耕地资源管理的现代化能力。
转自：“测绘学术资讯”微信公众号
如有侵权，请联系本站删除！
