以下文章来源于经纬石旁话遥测 ，作者邵振峰等
本文改编自学术论文
《空地协同移动智能服务平台研发及典型应用》
刊载于《武汉大学学报（信息科学版）》2023年第5期
邵振峰1,2程涛1,2李德仁1,2吴长枝3 郭晟 3
1 武汉大学测绘遥感信息工程国家重点实验室，湖北 武汉，430079
2 西安测绘研究所，陕西 西安，710054
3 立得空间信息技术股份有限公司，湖北 武汉，430073
邵振峰
博士,教授，现从事城市遥感与智慧城市方向研究。shaozhenfeng@whu.edu.cn
程涛
博士。taocheng@whu.edu.cn
摘要
面向万物互联时代的移动智能服务需求，亟须建立空地协同智能服务平台。由于核心设备和算法的限制，空地协同移动智能服务平台发展较为缓慢。由此通过攻关传感器实时位置和姿态测量的核心技术与数据处理和分析的关键算法，研制了高精度位姿测量设备，研发了机载和车载空地多平台协同组网遥感观测系统，实现了多源遥感影像质量改善与智能精处理，有效支撑遥感测绘服务，提升遥感信息自动化处理水平，从而解决了空地协同智能服务平台中“准、快、灵”的难题，实现“北斗+位姿测量仪”全球自主“定基准”、空地协同组网快速“找目标”、智能化精处理自动“查变化”。成果已被广泛应用于地理国情监测、智慧城市规划和建设、应急测绘保障等行业。
引用
邵振峰,程涛,李德仁，等. 空地协同移动智能服务平台研发及典型应用[J]. 武汉大学学报（信息科学版）,2023,48(5):749-755.DOI:10.13203/j.whugis20220520
空地遥感数据是利用对地观测技术获取的国家基础性、战略性信息资源，在保障国家安全、支撑全球战略、服务国民经济方面具有不可或缺的地位。新型基础测绘需要提供及时的信息，而空地协同移动智能服务平台的建设是新型基础测绘的重要科技支撑平台，移动智能服务是智慧城市的重要内容，属于国家和行业重大战略需求。
为了有效获取空地遥感数据，新型基础测绘亟需空地协同移动智能服务平台的支撑。空地协同移动智能服务平台中的遥感观测是高分辨率对地观测系统的重要内容，属于重大战略需求，也是技术封锁的重点领域。图1 展示了空地协同移动智能服务平台，平台涉及设备层、系统层以及应用层3 个方面，为了突破国家间的技术封锁，需要从设备研发、空地协同组网、智能精处理关键技术3 部分实现设备与技术的自主化。其中，设备层包含高精度位姿设备和观测平台，观测平台包括空基对地观测系统、地基对地观测系统。
图1 空地协同移动智能服务平台
空地协同移动智能服务相关技术、设备、系统的自主化在保障国家安全、支撑全球战略、服务国民经济等方面具有基础性地位。其核心目标是实现“ 北斗+ 位姿测量仪”全球自主“ 定基准”、空地协同组网快速“找目标”、智能化精处理自动“ 查变化”。针对空地协同遥感服务中“ 准、快、灵”的难题，需要突破传感器实时位置和姿态测量核心技术限制，研发具有自主化关键技术的核心设备，攻克机载和车载空地多平台协同组网遥感观测系统难题，实现多源遥感影像质量改善与智能精处理技术，有效支撑现代化移动测绘服务，满足机动侦察需求，提升灾害应急响应遥感信息自动化处理水平。
1 主要难题
1）弱卫星导航信号条件下多平台、多传感器实时灵活组网难题。在弱卫星导航信号条件下，复杂场景缺乏可靠的定位信息，无法解决精确动态连续测量的难题，而且传统的单一的空基对地观测系统（机）或地基对地观测系统（车），难以满足时效性、精准性的高需求。通过机-车自主组网集群，机-车组网协同，缩短作业时间，提高作业效率，可满足时效性和精准性，同时可以获取三维无缝空间信息。
2）位姿测量设备多平台适配性难题。位姿测量设备应用的空地智能服务平台具有多样性，部分平台被应用于低空、低速领域，如载车、无人车或低空无人机，部分平台作业于高空、低温区域，如有人高空测绘平台；部分平台安装了稳定平台，导致位姿测量设备的惯性测量单元（inertial measurement unit，IMU）和全球导航卫星系统（global navigation satellite system，GNSS）的杆臂值随着稳定平台转动发生变化等等。为满足位姿测量设备与各平台的适配性要求，需要根据各平台的差异性，从硬件接口、外形尺寸、环境适应性、软件等多方面进行研究和设计，提高位姿测量设备的多平台适应性，满足不同需求。
3）全天候、全天时作业条件下的多源异构影像质量改善难题。要发挥空地协同组网遥感系统的效能，需要攻克其获取的多源异构影像数据质量参差不齐、分辨率异构、低能见度天气条件、信噪比低（低光照、阴影等）、多视角弱纹理影像难以匹配等影像预处理技术难题，支撑遥感观测系统全天候、全天时作业。
4）复杂场景遥感多源影像智能精处理的效能提升难题。面向新型测绘需求的应用系统的智能精处理性能受限于复杂不确定性的观测环境，例如目标尺度与成像视角多样化、背景干扰、光谱混淆、阴影遮挡等。而且，高分辨率地物影像的形状、纹理、光谱等特征复杂，以及遮挡、阴影的大量存在，使得目标自动提取和识别有极大的不确定性。如何利用目标、场景、传感器的先验知识引导深度学习模型也需要结合遥感场景探索。
2 关键技术
2.1
弱卫星导航信号条件下的高可靠位置姿态测量
随着空地协同移动智能服务平台应用领域新需求的不断增加，现有的单一算法结构已逐渐不能适应平台的需求，不同平台、不同应用场景的卫星信号质量也不同，将导航算法进行组件化处理，开发通用滤波器结构，使用松散/紧密不同集成模式需求，增强系统稳定性及故障诊断能力，满足弱卫星导航信号条件下的高可靠位置姿态测量，提升位姿测量设备集成水平。根据地基智能服务平台特性，采用了弱卫星导航信号条件的惯性导航数据纠偏技术，通过对里程计刻度系数的自适应修正，实现了惯性传感器对里程计的实时高灵敏度评估和检测，性能提升50% 以上，突破了在弱卫星导航信号条件下的位置姿态高可靠解算难题。在无卫星导航信号条件下，采用基于里程计刻度系数修正的车载惯性导航技术和基于惯性传感器的里程测量技术，以及基于视觉感知和高精度地图的融合导航及多目标协同定位方法，实现了车载移动感知和协同感知，实时导航定位精度优于0.2 m，满足了车道级导航定位和自动驾驶的要求，达到国内外同类产品的先进水平。
2.2
基于多平台的适配性设计
位姿测量设备应用的空地智能服务平台具有多样性，需要对位姿测量设备与各平台进行适配性设计，从多平台适配性设计、复杂环境适配性设计、集成技术方面解决适配性关键技术，提高位姿测量设备的多平台适应性，满足不同需求。
多平台适配性对位姿测量设备的精度、重量和接口要求严格。首先对国内能够供应的成熟稳定的、重量满足要求的高精度陀螺进行调研、测试和对比，初步筛选；同时研究空地智能服务平台应用场合的相关使用条件，如大型无人机和有人机的运动特点以及任务航线的特点；然后有针对性地对GNSS/惯性导航系统（inertial navigation system，INS）精度进行性能分析和仿真，确定满足平台要求精度（尤其是航向精度）所需的陀螺精度水平。配套选取加速度计，根据精度要求选取GNSS 定位方式以及GNSS 接收机板卡；根据接口和计算量等因素，选择合适的嵌入式处理器芯片等。总重量应不超过规定，并适当留有余量。各主要部件确定后，对其进行联合性能分析和仿真，保障设计能够满足平台的使用需求。
针对复杂环境适配性设计，系列化位姿测量设备需要满足空地智能服务平台应用需求，对系统环境要求较高，通过以下途径实现：芯片级温度保护的系统宽温适应性设计；航空条件防护设计；系统整机密闭设计。
基于空地协同移动智能服务平台应用需求，对各子模块进行系统集成，进行适当的功能共享，尽量减轻重量、减小体积；整个设备的安装底座可借用IMU 支架的底座，其他模块也可尽量安装于IMU 支架上。各子模块的安装固定和电气连接要考虑应用现场的振动，保证牢固可靠，避免谐振，达到航空级标准。对系统整体进行抗振抗冲击、系统散热与热平衡、电磁兼容性等方面的设计和优化。
地基智能服务平台，冲击10 g 满足要求，而空基智能服务平台，冲击需要满足20 g 的需求。空基智能服务平台，电磁兼容需要满足空军飞机对应的CS106、CS114、RE102、RS103 等要求。地基智能服务平台工作温度范围为-40~+60 ℃ ，空基智能服务平台工作温度范围为-55~+70 ℃。
2.3
快速对准技术
传统的空基对地观测系统（机）或地基对地观测系统（车）需要静态初始化，初始化时间为8~10 min，难以满足时效性和机动性要求。位姿测量设备采用结合路线规划的动态快速对准与在线标定技术，通过连续检测系统的空中或地面运动状态，自适应调整对准模式，采用基于惯性系的对准方式对姿态矩阵进行分解或基于快速卡尔曼滤波的对准方式，缩短对准时间。利用GNSS 航迹角信息获得初始航向角信息，利用加速度计测量的加速度信息获得初始姿态（俯仰角、横滚角）信息，进行动态初始化，大大提高了移动智能服务平台的时效性和快速响应机动性。
图2 展示了高精度位姿动态对准模型，采用基于惯性系的对准方式对姿态矩阵进行分解，实现静态和动态的空地快速对准技术，突破了在弱卫星导航信号下的位置姿态高可靠解算难题，实现了微惯性测量组合、处理电路、卫星接收机模块的一体化集成。
图2 高精度位姿动态对准模型
2.4
视频影像的超分辨率增强
近年来兴起的航拍、视频卫星极大地丰富了遥感系统的动态观测能力，但受限于成像环境和移动信道传输能力，动态视频的空间分辨率和清晰度有限，而且不同观测设备（如地面测量车、无人机）采集影像的分辨率存在差异。因为成像环境和传输成本的限制，需要对视频影像的超分辨率重建进行研究，其中包括自适应特征提取技术、边缘纹理强化技术、非局部时空关联技术等多方面，以提升超分辨率技术的适应性和稳定性，增强空间观测精度，满足不同需求。同时也需要削弱天气因素对图像质量和场景可辨识度的影响，从退化的图像中还原出细节清晰、对比度高的干净图像，提升智能系统的可靠性。
超分辨率重建关注的是恢复图像中丢失的细节，即高频信息。自适应特征提取技术通过无监督学习框架，将随机噪声图输入到设计的生成对抗网络中，用于超分辨率重建；然后将参考图像转换为潜在空间作为增强图像先验；最后使用递归更新策略更新潜在空间中的输入噪声，并进一步从参考图像中传递纹理和结构化信息。边缘纹理强化技术则是通过边缘提取、低维映射、边缘增强、掩模处理和高维重建，生成逼真而又清晰的边缘轮廓，同时保持干净的图像内容。非局部时空关联技术是根据远视距成像带来的地表目标的刚体运动性质，建立非局部时空相关性捕捉模块和时域一致的动态视频，增强运动目标的时域平滑性。
图3 展示了视频影像的超分辨率重建，由于观测设备的硬件限制以及运动状态，获取的视频影像存在局部细节模糊的问题，需要通过超分辨率重建技术对视频影像进行信息恢复，从而生成清晰的视频影像。
图3 超分辨率重建
2.5
多视角无人机影像目标检测
虽然无人机遥感影像的应用场景十分广泛，但是无人机观测平台获取到的影像与其他观测平台获取到的高分辨率遥感影像具有明显差异，这增加了无人机遥感影像的处理难度。不同视角下同类目标的姿态、特征差异巨大，难以提取到统一的特征。同时，在一些灵活、复杂的任务场景中，无人机遥感影像中不同影像的背景差异也较大，存在较多复杂背景条件下的影像，如夜晚目标信息不清晰、云雾遮挡明显等情况，这也给目标检测任务带来了巨大的难题。除了上述问题以外，无人机遥感影像中的目标还存在尺寸多变的情况，对多尺度目标的检测也是无人机遥感影像中不可避免的问题。因此，无人机遥感影像中的目标检测比自然场景中的目标检测更加困难。
在通用的目标检测算法的基础上，针对无人机遥感影像目标视角差异大和尺寸差异大的难点，提出了多视角目标检测算法，其中包括基于对抗网络的跨视角目标检测方法和基于全局密度融合网络的多尺度目标检测方法。
基于对抗网络的跨视角目标检测方法是按照双路径的网络结构进行设计的，其中，用一支网络对单视角的遥感影像进行训练，另一支网络对多视角影像进行训练。同时，两条路径之间进行权值共享。整个网络采用基于深度学习的网络形式，旨在训练的过程中能够提取到针对无人机遥感影像的跨视角不变的特征分布。基于全局密度融合网络的多尺度目标检测方法在现有的多尺度的深度学习目标检测算法的基础上，加入了全局密度网络，通过增大网络的感受视野域，进一步加大网络对尺度的感知能力，从而使网络可以全局感知目标不同尺度的分布情况。在提出的算法中，通过全局密度网络对目标附近的全局信息进行分析，增强了目标与上下文信息之间特征关系的学习能力，提升其对无人机遥感影像上的目标的检测性能。
图4 展示了多视角目标检测，无人机遥感影像、车载遥感影像以及固定视频影像的观测角度会随着设备的运动状态发生改变，且三者之间的观测角度差异也较大，需要构建多视角目标检测算法来获取不同视角间对象的特征信息。
图4 多视角目标检测
2.5
多视角无人机影像目标检测
从观测对象来看，城市遥感以城市为观测对象，在城市遥感观测过程中，观测对象通常具有多维度、多尺度、多模式、多角度的特点，城市场景高度异质化，造成遥感信息提取的精度和自动化程度都是最低的。鉴于城市遥感观测的复杂性，通常需要综合考虑遥感影像的时间、空间、光谱、角度特征，以满足城市遥感观测的需求。理论上，城市遥感观测需要高时间分辨率、高空间分辨率、高光谱分辨率和多角度的数据。然而现在还缺少针对城市遥感的对地卫星观测计划，目前的城市遥感观测一般协同现有的多源卫星数据进行观测，以满足特定的观测需求。
由于城市中存在因建筑物和植被等物体造成的各类遮挡问题，在三维空间数据采集与更新方面，单一的遥感平台存在一定的局限性，从单一的观测角度只能获取局部区域的有效数据，造成数据空洞现象。数据空洞现象导致无法精准提取信息，这限制了城市高分辨率遥感数据的应用范围。因此，需要通过空地多平台遥感协同观测来解决这一问题。通过构建时空谱角智能对地观测系统，集多种传感器、多分辨率、多波段、多时相和多角度于一体，即集遥感影像的时空谱角特性于一体，并与全球定位系统（global positioning system，GPS）、INS 和激光断面扫描系统集成，为海绵城市、智慧城市建设提供有效的、丰富的数据源。
图5 展示了无人机与移动测量车协同观测模型，将无人机系统和移动测量系统观测数据进行特征提取与空间配准，从而获得协同观测的实景影像和点云数据等。
图5 无人机与移动测量车协同观测模型
3 成果应用
目前成果已被广泛应用于地理国情监测、智慧城市规划和建设、应急测绘保障、国家安全和国防等行业，主要包括：
1）在智慧能源领域，进行空地协同全方位巡检，将多源遥感数据进行融合集成，从而实现大范围快速普检巡检。
图6 为智能巡检无人车，在自动驾驶平台搭载可见光红外双光云台和位姿测量设备，实现在高危、高辐射变电站区域无人值守巡检，自动识别表计度数、开关状态，测量部件温度，实时上报巡检结果，及时异常信息报警，并统计巡检表单。目前，该款机器人已在100 多个变电站进行智能巡检工作、保障安全。
图6 智能巡检无人车
2）在应急测绘保障领域，应用于四川省地质灾害监测，对各灾害要素进行定量精处理，提升了各环境要素的快速监测能力，为环境与灾害快速监测提供了有效的技术支撑。
图7 展示的四川地质灾害预警系统可以对地质灾害进行精细化风险智能预警，包括地质环境、风险监测和风险预警等系统功能模块。
图7 四川省地质灾害预警系统
3）在智慧城市规划和建设领域，为了能够获取及时有效的数据，需要进行空地协同观测，获取多源数据，从而进行综合感知，为城市的建设与管理提供重要的技术支撑。
图8 展示了无人机与移动测量车协同观测，对武汉市森林公园周边进行多源数据采集。
图8 空地协同组网采集多源遥感数据
4 结语
针对空地协同移动智能服务平台中“准、快、灵”的难题，研制了无人机组网测绘系统、地面机器人移动测绘系统、空地协同组网的移动测绘系统，形成了移动智能测绘产品系列。其特色和创新之处如下：（1）研发了自主化、系列化的高精度位姿测量设备，为移动测绘提供了硬件装备保障。（2）研发了面向多节点位姿测量融合的空地协同组网移动测绘系统，为移动智能测绘提供了平台。（3）研发了面向新型测绘需求的应用系统，升级了移动测绘的智能化水平，突破了复杂场景遥感信息自动化、精细化和智能化测绘的难题。
转自：“测绘学术资讯”微信公众号
如有侵权，请联系本站删除！
