面向城市体检的遥感影像建筑物智能识别
张 超 刘昭贤
(河北省第二测绘院, 河北 石家庄 050031)
［摘 要］ 本文立足城市用地监测面临的人工调绘费时费力、大范围地物变化信息缺失及违建用地监管取证不及时等现状,引入先进的遥感处理技术和人工智能算法进行快速、准确识别地物类别,对比出变化地类,对识别违法用地、违章建筑监管起到重要作用,以短周期重访的优势弥补测绘信息更新的滞后性,实现快速、准确、低成本的城市建筑物动态解译分析。
0 引言
随着人口向中心城市集聚,按照资源环境承载能力,统筹安排城市建设、产业发展、生态涵养、基础设施和公共服务成为城市发展的必然要求。从城市发展状态和规划实施动态两个方面,确立体检评估指标及其标准,从而发现城市健康的“病灶”[1]。立足于城市建筑物变更信息调查,针对城市发展中的违章建筑问题,引入先进的遥感观测技术和人工智能算法,以期能实现快速、准确、低成本的城市建筑物动态解译分析。相比国内外传统影像识别技术研究,本文通过构建多种深度学习网络模型,获取高精度的城市建筑物的精细分类与变化检测结果,加大影像识别自动化程度,进而为城市体检提供强有力的技术支持[2-3]。
1 设计流程
首先,数据获取,包括数据收集、卫星影像购置、像控点数据采集等工作;其次,遥感影像预处理,包括几何校正、影像融合等工作[4];最后,遥感智能解译模型建立,通过构建城市建筑物多场景智能知识库,开展基于多尺度卷积与空谱注意力的语义特征识别、基于迁移学习和面向对象的多时相建筑物动态解译,来获取高精度的城市建筑物的精细分类与变化检测结果。具体技术路线如图1所示。
图1 遥感影像城市建筑物智能识别应用的总体技术路线
2 数据获取
初始影像采用2017年6月WorldView卫星影像,数据为RGB三通道数据。WorldView卫星是DigitalGlobe卫星公司商用高分辨率遥感卫星,具有超高分辨率特征,目前能够捕获全色分辨率0.31 m和多光谱分辨率1.24 m的卫星影像,幅宽超过10 km。
对比影像采用2022年5月定制的高景一号影像,数据为全色与多光谱影像。高景一号具备高敏捷、多模式成像能力,全色分辨率为0.5 m,多光谱分辨率为2 m,轨道高度530 km,幅宽12 km。
采集像控点坐标,提高卫星影像的几何精度。像控点坐标采集均满足点位目标在影像上明显、清晰、易读,实地易于准确定位和量测的基本要求,选择的点位需易于到达和放置测量仪器,视野开阔,且点位均易于保存,位于常年相对固定、明显的地物上[5-6]。本文以河北省定州市主城区及周围区域影像数据作为研究数据,该区域遥感影像总面积为81 km2,地势比较平坦,城市建筑物比较复杂,有大片自建房等复杂屋顶的密集建筑区,根据实际情况选取52个像控点,用以影像纠正,提高影像精度。
3 遥感影像预处理
3.1 影像纠正
购置的初始影像、对比影像均已进行几何粗校正,但仍存在随机误差和某些未知的系统误差,因此利用采集的像控点运用多项式法对研究区域内的遥感影像进行几何精校正。多项式几何校正包含图像坐标的空间变换及图像像元灰度值重采样。具体步骤如下:
(1)将采集的52个像控点导入ArcGIS软件中,生成shp格式文件。
(2)选择已有高分辨率卫星遥感正射影像图作为参照影像。
(3)利用完整的遥感图像处理平台(the environment for visualizing images,ENVI)启动应用几何校正模块。
(4)利用参照影像依次在卫星影像上找出同名像控点,并输入控制点的经纬度坐标。
(5)利用多项式法完成影像的几何精校正,像元灰度值采用线性插值进行重采样[7]。
基于上述方法,分别对2017年原始影像、2022年对比影像进行几何校正,两期影像几何精度均能达到1个像元,能够满足后续变化检测研究的要求。
3.2 影像融合
通过对正射校正后的遥感影像进行图像融合,获得高空间分辨率的多光谱遥感影像。融合后的遥感影像具有更精确、更丰富的空间与光谱信息,进一步提高了数据的利用率与可靠性,从而提升建筑物精细分类的性能。遥感影像融合的方法主要包含亮度-色调-饱和度变换、主成分分析变换、施密特正交化(Gram-Schmidt,GS)变换、超球体色彩空间变换、小波变换、高通滤波变换等方法。采用施密特正交化变换能够显著提升图像分类与目标探测性能,变换后的正交向量信息量差异性较小,能有效降低信息冗余性并提高遥感影像融合的稳定性。采用ENVI的“GS变换”操作进行两期遥感影像融合,融合后的遥感影像波段数为4、空间分辨率为0.5 m,将其保存为标签图像文件格式(TIFF)存储[8]。
4 遥感智能解译模型建立
4.1 样本库数据采集
遥感影像的样本库是建立大数据支持下的地物类别标签及对应特征集。样本的代表性和全面性会直接影响到算法模型的精度,是人工智能中最重要的部分之一。优良的样本库需要满足特征判别明显、混淆较少、类别划分清晰、无错误数据、类别分布均衡、样本分布多样化等特点。
根据《第三次全国国土调查工作分类地类认定细则》,将地类分为湿地、耕地、种植园用地、林地、草地、商业服务业用地、工矿用地、住宅用地、公共管理与公共服务用地、特殊用地、交通运输用地、水域及水利设施用地、其他土地13个类别[9-11]。按照“全面系统、突出重点”的原则,结合建筑物尺寸、屋顶颜色等因素细分建筑物类型,通过目视解译的方法,构建定州市典型区域建筑物样本库,划分自建房、高层建筑、公共建筑、工业建筑4个建筑物类别,裸土、阴影、植被道路3个背景类别,建筑用地与“三调”对应地类如表1所示。
表1 建筑用地与“三调”对应地类表
通过建筑物类别目视解译,对定州市两期影像共采集16幅小区域城市建筑物样本集,以其中2幅影像为例,随机抽取样本点验证,通过目视解译法绘制的地物分类样本构建可靠性为96.12%,满足数据要求。影像样本如图2所示。
图2 影像样本示意图
4.2 样本数据增强
由于人工标注样本耗时耗力,大范围样本采集困难,难以拥有大规模的样本数据,因此样本增强是提升模型性能的有效手段之一。本增强是一种让有限的数据产生更多的数据的技术,通过增加训练样本的数量以及多样性(噪声数据)来提升模型鲁棒性。综合传统数字图像增强、联合增强、人工智能增强等方法,实施训练图抽样生成策略达到扩充训练数据并保证样本均衡的目的。在2 000×2 000的大尺度影像上,对人工标绘样本点通过滑块移动、随机抽取样本的方式,构建样本抽取策略,重新组合成400×400的样本图,便于模型进行训练和测试。依次对400×400的遥感影像与地物真值图进行裁剪,获取裁剪后的地物真值图样本类别个数与对应类别的像素位置索引值。计算各类样本像素数量,若样本像素数量少于2 000,则取各类像素所有样本;若多于2 000,则随机抽取20次,每次抽取2 000个像素作为该类别的样本,形成样本抽取后的地物真值图。若地物样本类别个数为单类,则将样本抽取后的地物真值图直接作为最终的地物真值图;若地物样本类别个数为多类,对将各类样本抽取后的地物真值图进行镜像、旋转等操作,进一步扩充样本,同时对遥感影像进行对应操作,保持一一对应。具体方法流程如图3所示。
图3 样本增强算法流程
根据以上样本采集要求和增强方法,对定州数据采集10 000个以上样本点作为训练和测试样本,训练样本与测试样本的数量比例设置为7∶3,并以此为基础构建具有定州市区域特点的城市建筑物多场景智能知识库。
4.3 基于多尺度卷积与空谱注意力的语义特征识别
卷积神经网络(convolution neural network,CNN)通过卷积模型能够有效地将大数据量的
降维成小数据量,有效地保留
特征,符合
处理的原则,提高网络性能及模型准确率[12-14]。采用基于多尺度卷积与空谱注意力的语义特征识别网络结构,相比传统CNN神经网络,具有以下优点:不再受全连接层的限制,能够接受任意尺度的遥感影像数据作为输入图层,有效提高了模型对多源多尺度遥感影像的适应能力,使得分类过程更加灵活;编码-解码结构中采用跳跃连接有助于浅层特征和深层特征的融合,很好地解决了城市建筑物风格多变,尺寸不一,特征不同问题;融合空谱注意力机制,实现遥感影像的光谱、空间特征的精确提取与高效利用。
本文针对建筑物精细分类样本少、标签数据不平衡、影像细节信息丢失、建筑物尺寸不匹配、分类结果边界模糊等缺点,为更好地适应影像中不同尺度地物,采用基于多尺度卷积与空谱注意力的语义特征识别网络。基于全卷积神经网络(Fully Convolutional Networks,FCN)思想,采用孪生编码-解码结构,结合空谱注意力机制、动态学习率等模块,实现具有光谱空间尺度适应能力的建筑物分类网络[15]。
采用基于多尺度卷积与空谱注意力的语义特征识别网络,构建建筑物精细识别分类模型,选取定州市8幅遥感影像(尺寸2 000×2 000,分辨率0.5 m)作为训练影像,其余作为分类测试影像。得到的分类结果如图4所示。
图4 建筑物的分类结果示意图
4.4 基于迁移学习和面向对象的多时相建筑物变化动态解译
迁移学习是指从相关领域中迁移标注数据或者知识结构、完成或改进目标领域或任务的学习效果。以定州市两期高分辨率遥感影像为主,在DeepGlobe、INRIA等建筑物公开数据集上对模型进行预训练,并迁移至定州市的建筑物提取任务中。结果表明,比仅在定州市数据集上训练,通过迁移学习的方法能够取得更高的精度,能够拓展模型的泛化能力[16]。
运用统一的分类对体系内每一时相遥感影像单独对城市建筑物进行分类,通过对分类结果来发现城市建筑物的变化,能够回避多时相数据因获取季节不同和传感器不同所带来的数据归一化问题。采用“先分类后变化”的间接变化检测方法对建筑物的特征信息进行综合对比分析,可提高特征属性判断的可信度和准确性,一定程度上减少外界因素对变化结果的干扰。
基于迁移学习和面向对象的多时相建筑物变化动态解译算法,将2017年影像的建筑物提取网络和分类网络用在2022年模型训练上,确保两期影像分类效果接近,减少由影像差异造成分类结果不一致的现象。首先从建筑物的边缘轮廓特征角度出发,设定固定阈值对检测结果的“椒盐”现象进行有效去除,再利用轮廓面积占最小外接矩形面积比对该轮廓的状态进行判断[17]。选择轮廓最小外接直立矩形,计算轮廓和对应最小外接直立矩形面积比,设置固定阈值,有效去除因影像偏移或多期影像建筑物提取效果差异造成的长条形虚警轮廓。提取轮廓最小外接矩形,设定轮廓与对应最小外接矩形面积比阈值,有效去除因分类效果破碎造成的空洞虚警轮廓,最终得到变化检测结果。传统的变化检测任务只关注是否发生变化,并不关注变化的具体类型,为了更好地了解地物类别变化情况,将语义信息引入变化检测结果中。建筑物变化检测是两时相的分类结果差异生成的,对于变化区域空洞、同一区域内分类类别复杂等情况,构建建筑物变化检测语义优化算法,获取2017年、2022年变化区域类型图,以提升建筑物变化检测结果的可阅读性。从建筑物的边缘轮廓特征角度出发,提取变化区域的最外层轮廓,通过填充消除轮廓空洞。叠加两期建筑物精细分类结果,选取轮廓内面积占比最大的类别作为改变区域变化的类别。具体的方法流程如图5所示。
图5 基于迁移学习和面向对象的多时相建筑物变化动态解译流程
选取定州市8幅遥感影像(尺寸2000×2000,分辨率0.5 m)作为训练影像,其余作为分类测试影像,通过建筑物动态变化解译算法确定该区域变化监测结果范围,采用建筑变化检测语义优化算法,确定变化监测结果范围内2017年、2022年两年分类类别结果,局部范围示意图如图6所示。
图6 局部建筑物变化检测语义优化结果示意图
4.5 模型评价指标
模型精度评价采用总体分类精度(overall accuracy,OA),其计算公式为
(1)
式中,T指分类正确的正样本像元个数;A指全部的像元个数。
表2展示了定州市两期遥感影像的精细语义识别结果整体精度,从中可以看出本文构建的网络分类模型能够很好地应用在定州市的城市建筑物精细识别中,能够将各类建筑物能够准确识别,即便在复杂背景和多样式建筑物分类条件下,构建的建筑物分类后处理算法达到较高的精度。
表2 不同时期分类结果的精度(OA)
通过抽取样本点验证,表3分别展示了定州市两期的遥感影像的建筑物提取结果的精度,从中可以看出构建的网络分类模型能够很好地应用在定州市的城市建筑物提取中,实现密集建筑物的有效提取,在复杂背景和多样式建筑物条件下,构建的建筑物大类提取模型和变化检测模型也可以达到较高的精度。
表3 不同时期建筑物提取的精度
5 结束语
本文通过高空间分辨率卫星数据实现研究区域内城市建筑物精细语义识别分类、快速范围提取以及城市建筑物变化动态解译,利用多场景智能样本库和深度学习技术建立建筑物语义特征识别分类模型和建筑物精细提取模型,并基于先分类后检测的方法结合迁移学习和形态学知识实现建筑物变化检测,完成研究区域内建筑物精细识别、精细提取、建筑物变化动态解译的精细制图。形成适于区域特色的建筑物分类和变化检测的技术。此次研究虽达到较好效果,但步骤略显复杂,可考虑采用多分类变化检测方法,利用语义分割模型将语义信息引入变化检测,直接获取城市变化区域覆盖地物类型的变化情况,实现“类别到类别”的变化检测。
参考文献
[1] 杨舒. 我国城市将一年一“体检”[N]. 光明日报, 2021-07-08(8).
[2] BAROUD S, CHOKRI S, BELHAOUS S, et al. A brief review of graph convolutional neural network based learning for classifying remote sensing images[J]. Procedia Computer Science, 2021, 191: 349-354.
[3] ZOU X,LIU J M. Extracting information of urban land surface with high resolution remote sensing image[J]. Geographical Science Research, 2021, 10(4): 326-335.
[4] 樊恒通.基于面向对象方法的城市植被提取与绿量估算研究[D].南京:河海大学,2006.
[5] 夏先丽,韩明,文广,等.利用WorldView-1卫星立体影像测绘1∶5 000地形图的试验[J].测绘通报,2010(1):37-38.
[6] 张力,张继贤,陈向阳,等.基于有理多项式模型RFM的稀少控制SPOT-5卫星影像区域网平差[J].测绘学报,2009,38(4):302-310.
[7] 赵子忠,芦维忠.基于遥感技术的退耕还林监测研究——以甘肃省清水县为例[J].林业资源管理,2010(4):63-67.
[8] 殷学永, 叶雨爽. 遥感影像融合方法的比较与评价[J]. 科技创新与生产力, 2020(6): 52-56.
[9]刘向祎,芦仲进,邰向荣,等.土地利用地图的专题色彩设计——以《第三次全国国土调查工作分类》配色方案设计为例[J].测绘通报,2022(9):141-144.
[10] 吴多, 熊伟. 基于 “三调” 数据的国土空间规划底图建设——以武汉市为实例[J]. 中国国土资源经济, 2022,35(3):53-60.
[11] 舒弥, 杜世宏. 国土调查遥感40年进展与挑战[J]. 地球信息科学学报, 2022, 24(4): 597-616.
[12]吴慧.基于深度学习的遥感影像目标检测[D].北京:中国科学院大学,2016.
[13] 樊继慧,滕少华,金弘林.基于改进Sigmoid卷积神经网络的手写体数字识别[J].计算机科学,2022,49(12):244-249.
[14] 孟宪梁,杨志,黄文广,等.基于多层卷积神经网络的光伏组件红外热斑故障识别方法研究[J].电力设备管理,2021(15):247-250.
[15] 龚瑞昆,刘昊晟,张仲,等.采用全卷积神经网络与多波段遥感图像结合的湿地分类方法[J].华北理工大学学报(自然科学版),2022,44(4):26-34.
[16] 侯冬梅,张艳鹏,杨倩,等.基于残差神经网络的高分遥感影像精准分类方法[J].自动化与仪器仪表,2022(7):40-44.
[17] 刘进博,朱新新,伍越,等.基于神经网络和支持矢量机的多机动车车牌在线检测方法[J].自动化学报,2021,47(2):316-326.
引文格式: 张超,刘昭贤. 面向城市体检的遥感影像建筑物智能识别[J].北京测绘,2023,37(6):885-891.
作者简介：张超(1988—),男,河北石家庄人,大学本科,工程师,研究方向为测绘学。
E-mail:812686812@qq.com
转自：“测绘学术资讯”微信公众号
如有侵权，请联系本站删除！
