以下文章来源于经纬石旁话遥测 ,作者周楠等
本文改编自学术论文《带有地理编码的光学视频卫星物方稳像方法》已刊载于《武汉大学学报(信息科学版)》2023年第2期
周楠1 曹金山2 肖蕾3 曹世翔1
1北京空间机电研究所,北京 ,100076
2湖北工业大学计算机学院,湖北武汉 ,430068
3火箭军装备部某代表室,北京 ,100085
周楠
硕士,高级工程师,研究方向为卫星影像几何处理。nan_zhou2006@126.com
摘 要
发现运动目标并获得运动目标的地理位置与运动速度,是光学视频卫星非常重要的一个高精度应用。现有光学卫星视频稳像方法虽然可以获得稳定流畅的视频数据,但视频数据中缺少几何信息,难以满足这一应用需求。针对该问题,提出一种带有地理编码的光学视频卫星物方稳像方法。该方法充分利用卫星视频帧的定向参数信息,构建基于视频帧定向模型的帧间运动模型,并通过辅帧定向参数的运动补偿,实现视频序列帧间几何一致性,再在物方空间对视频序列进行地理编码,生成带有地理编码的流畅视频数据。经对珠海一号卫星视频数据的试验结果表明,该方法可以有效消除卫星平台抖动和卫星定轨测姿等误差对卫星视频帧间几何精度的影响,获得的帧间几何精度与视频稳像精度均优于0.3像素。
引 用
周楠 ,曹金山 ,肖蕾,等 .带有地理编码的光学视频卫星物方稳像方法 [J].武汉大学学报(信息科学版) ,2023,48(2): 308-315.DOI:10.13203/j.whugis20200306
光学视频卫星是近几年兴起的一种新型遥感卫星(如美国的 SkySat系列卫星、中国的吉林一号卫星和珠海一号卫星),星上搭载的视频相机不仅具有获取静态影像的能力,更大的优势是能够以视频录像的方式,实现对运动过程的连续观测,最大观测时长可达 120 s,特别适合热点区域、洪灾火灾和运动目标的实时监测。
在光学视频卫星凝视成像的过程中,卫星平台抖动、姿态控制误差和帧间成像视角差异等因素会导致同一目标在卫星视频不同帧之间存在数个像元的抖动,严重制约了卫星视频的应用。视频稳像的目的在于消除或者减少视频帧间的抖动,生成稳定流畅的视频,是实现卫星视频高精度应用的前提和基础。
典型视频稳像方法主要包括运动估计和运动补偿两个核心部分。运动估计主要通过块匹配法、特征法、光流法、频域法等得到视频帧间的运动矢量,利用运动模型来描述视频帧间抖动。运动补偿主要是利用运动估计得到的帧间运动模型,以主帧为基准对其他视频帧进行几何纠正,从而得到稳像视频。经典运动模型包括二维模型(如平移模型、相似变换模型和仿射变换模型)和三维模型(如投影变换模型和透视变换模型)两大类。基于经典运动模型,学者们在地面、低空和航空视频稳像方面进行了一系列研究,并取得了很好的效果。例如, Grundmann等、Jia等利用平移模型进行视频稳像处理;邢慧等、Walha等利用相似变换模型进行视频稳像处理;Kumar等、张毛磊等利用仿射变换模型进行视频稳像处理;Matsushita等、 Aguilar等利用透视变换模型进行视频稳像处理;Zhang等利用投影变换模型进行视频稳像处理。
目前,针对光学视频卫星稳像处理的研究仍相对较少,现有的卫星视频稳像仍以经典运动模型为基础。例如, Murthy等以透视变换模型作为帧间运动模型,对 SkySat-1卫星进行了视频稳像处理;李锋以刚性变换模型作为帧间运动模型,对红外视频卫星进行了视频稳像处理。相比于地面、低空和航空视频,卫星视频的一个重要应用是,在发现运动目标(如车辆、舰船)的同时,要能够及时获取运动目标的地理位置与运动速度。现有卫星视频稳像方法所采用的经典运动模型并未考虑卫星视频的成像几何特性,虽然能够获得稳定流畅的视频,但视频数据中缺少几何信息。此外,在视频稳像过程中,需要根据帧间运动模型对卫星视频序列进行重采样处理。若构建的帧间运动模型未考虑卫星视频的成像几何特性,重采样处理将破坏原始视频帧的成像几何关系,以至于卫星视频帧的定向模型无法精确描述重采样后的视频影像与其对应地物的成像几何关系,从而难以从稳像视频中获得运动目标的几何属性,如地理位置与运动速度。
鉴于此,本文提出一种带有地理编码的光学视频卫星物方稳像方法。该方法以卫星视频帧的定向模型为基础构建视频帧间运动模型,可以获得子像素级帧间几何精度;再利用运动补偿后的定向参数在物方空间对视频序列进行地理编码,可以获得带有地理编码的流畅视频数据。利用该视频数据,便可以在发现运动目标的同时,直接获得其地理位置与运动速度。
1 光学视频卫星物方稳像方法
针对光学视频卫星帧间抖动的问题,本文采用逐帧运动估计和补偿的策略,在卫星视频帧序列中依次以相邻两帧的前一帧为主帧、后一帧为辅帧,估计辅帧相对于主帧的帧间运动参数,并对辅帧定向参数进行运动补偿,在物方空间对视频序列进行地理编码,实现带有地理编码的光学视频卫星物方稳像处理。本文方法主要流程如图 1所示。其中,帧间同名像点匹配采用相关系数匹配方法在主帧和辅帧之间获得初始匹配点,并利用最小二乘影像匹配方法提升匹配精度,再利用随机抽样一致性算法剔除误匹配点。
图1 本文方法主要流程图
1.1
卫星视频帧间运动估计
1.1.1
视频帧定向模型构建
类似于线阵推扫式光学遥感卫星,光学视频卫星通常也会搭载全球导航卫星系统、星敏感器和陀螺仪等卫星定轨测姿设备。根据卫星轨道和姿态、相机成像时间、相机安置矩阵等参数,便可构建光学视频卫星严密成像几何模型。然而,严密成像几何模型的构建相对复杂,涉及一系列空间坐标系的相互转换,不利于光学视频卫星的视频稳像处理。因此,本文以光学视频卫星严密成像几何模型为基础,构建形式简单、易于计算的有理函数模型(rational function model,RFM),并将其作为视频帧的定向模型:
式中,( φn,λn,hn )、( rn,cn ) 分别为地面点坐标( φ,λ,h )、像点坐标( r,c ) 经平移和缩放后的正则化坐标,取值在[−1,1];各多项式pi( i=1,2,3,4)中每一项的各个坐标分量φn、λn、hn 的幂次最大不超过3,且每一项各个坐标分量的幂次之和也不超过3。以p1 ( φn,λn,hn )为例,其具体形式为:
式中,( a1,a2,…, a20 ) 为有理函数模型参数,即本文中视频帧的定向参数。对于p2、p3 和p4,只需将式中的aj 分别替换为bj、cj 和dj 即可。
有理函数模型是一种与卫星成像传感器无关的通用成像几何模型,同时适用于线阵推扫式卫星传感器和面阵成像传感器,其模型参数不含有任何物理意义,可以很好地隐藏卫星传感器的核心信息,同时大大降低卫星影像数据处理对用户专业水平的需求,扩大遥感影像的应用领域。目前,有理函数模型已作为很多卫星遥感影像的标准成像几何模型,随卫星影像一并分发给用户,如中国的ZiYuan-3、GaoFen-1、GaoFen-2、GaoFen-4 卫星等。
有理函数模型参数的求解分为地形无关和地形相关两种方案。地形无关方案的实质是利用有理函数模型去拟合卫星影像严密成像几何模型,其前提是需要精确已知卫星传感器的各项成像参数,并能够构建严密成像几何模型,主要包括两个步骤:(1)构建卫星影像严密成像几何模型(如卫星轨道、卫星姿态、影像成像时间、相机参数等),并根据该模型生成大量虚拟控制点;(2)利用虚拟控制点求解有理函数模型参数。在严密成像几何模型难以构建的情况下,必须获取一组真实的控制点,并利用真实控制点求解有理函数模型参数,称为地形相关方案。
利用地形无关方案求解的有理函数模型参数,可以取得很高的拟合精度,其拟合误差完全可以忽略不计。卫星影像供应商分发给用户的有理函数模型参数,正是在地形无关方案下求解获得的。而对于地形相关方案,在整个影像覆盖范围内获取均匀分布的真实控制点往往是非常困难的,因而限制了该方案的实际应用。
1.1.2
帧间运动模型构建
对于光学视频卫星稳像处理而言,若以视频序列中的固定帧为主帧、其余帧为辅帧,则需要将所有的辅帧分别与主帧进行同名像点匹配。然而,受卫星平台抖动和姿态控制误差等因素的影响,部分辅帧与主帧之间的重叠度可能较小,以至于难以获得分布均匀的同名像点。此外,光学视频卫星的成像时长通常可达90 s,卫星成像视角约从30°变化至−30°。视频卫星的成像时间越长,成像视角的差异也随之增大。这必将导致视频帧间几何变形很大,给主帧和辅帧之间的同名像点匹配带来难度,以至于难以实现子像素级帧间运动估计。因此,本文采用逐帧运动估计策略,即在视频帧序列中依次以相邻两帧的前一帧为主帧、后一帧为辅帧,逐帧估计帧间运动参数。
以仿射变换、透视变换和刚性变换等数学模型作为光学视频卫星帧间运动模型,虽然可以获得稳定流畅的视频,但视频数据中缺少几何信息,难以满足光学视频卫星的高精度应用需求。鉴于此,本文充分利用卫星视频帧的定向参数信息,以卫星视频帧的定向模型为基础,构建帧间运动模型。事实上,导致卫星视频抖动的误差源主要为卫星平台抖动、卫星定轨测姿等误差引起的辅帧相对于主帧的相对轨道与相对姿态误差。本文在辅帧定向模型的基础上引入帧间运动参数,以消除该误差源的影响,构建的基于卫星视频帧定向模型的帧间运动模型如下:
式中,
rs、cs和ro、co分别为像点坐标正则化比例系数和平移参数;
上标i 表示主帧,i+1 表示辅帧;( e0,e1,e2,f 0,f 1,f 2 ) 为辅帧相对于主帧的帧间运动参数。
1.1.3
帧间运动参数求解
卫星视频帧间运动参数的精确求解是帧间运动估计的另一个重要环节。本文在构建的视频帧定向模型(式(2))和帧间运动模型(式(3))的基础上,以卫星视频帧序列中相邻两帧的前一帧为主帧、后一帧为辅帧,可以明显减小主帧和辅帧之间的几何变形,为帧间同名像点精确匹配提供便利,但在求解帧间运动参数时,主帧和辅帧之间的交会角会非常小。例如,当卫星轨道高度为550 km,视频相机成像帧频为20 帧/s,卫星飞行速度为7 km/s 时,主帧和辅帧之间的交会角仅约为2'。若采用传统区域网平差方法求解帧间运动参数,交会角过小会使得高程误差被异常放大,导致平差不收敛。针对该问题,本文引入数字高程模型(digital elevation model,DEM)作为高程约束条件,求解辅帧相对于主帧的运动参数(e0,e1,e2,f0,f 1,f2 ),示意图如图2 所示。
图2 帧间运动参数求解示意图
1)利用运动补偿后的定向参数构建主帧定向模型,并根据定向模型将主帧上的每一个同名像点( rij,cij)(j=1,2,… ,n,n 为同名像点个数)投影至DEM 上,得到物方投影点( Lj,Bj,Hj );
2)根据辅帧的原始定向参数构建辅帧定向模型,并根据定向模型将每一个物方投影点( Lj,Bj,Hj ) 进一步投影至像方,得到辅帧上的像方投影点( Mi+1r,j ,Mi+1c,j );
3)利用辅帧上的像方投影点(Mi+1r,j ,Mi+1c,j)及其对应匹配点( ri+1j,ci+1j ),根据式(3)的ri+1=e0 + e1 Mi+1r + e2 Mi+1c 和ci+1 = f0 + f1Mi+1r +f2 Mi+1c 构建误差方程:
AX-L=0 (4)
其中,
4)按照最小二乘平差原理,求解辅帧相对于主帧的运动参数:
X=(ATA)-1ATL (5)
在上述求解过程中,由于主帧和辅帧之间的交会角非常小,高程误差对帧间运动参数求解精度的影响是完全可以忽略的。
1.2
辅帧定向参数运动补偿
求解出当前辅帧相对于主帧的运动参数后,当前辅帧将作为视频序列中下一个相邻两帧运动估计的主帧。为了构建下一个相邻两帧的帧间运动模型,同时便于后续卫星视频帧的地理编码,需要对当前辅帧的定向参数进行运动补偿,将当前辅帧的运动参数融合到定向参数中,具体步骤包括:(1)根据当前辅帧的原始定向参数构建定向模型,并生成虚拟控制格网点;(2)利用当前辅帧相对于主帧的运动参数,用式(3)的ri+1 =e0 + e1 Mi+1r + e2 Mi+1c 和ci+1 = f0 + f1 Mi+ 1r+f2 Mi+1c ,对虚拟格网点的像点坐标进行帧间运动补偿;(3)利用步骤(2)中的虚拟格网点重新求解辅帧定向参数,得到运动补偿后的定向参数。
1.3
视频序列物方地理编码
通过视频帧间运动估计与帧间运动补偿处理,消除卫星平台抖动和卫星定轨测姿等误差的影响,恢复卫星视频帧间的精确几何关系。在此基础上,本文对视频序列中的每一帧进行物方地理编码处理,得到带有地理编码的流畅视频。卫星视频序列物方地理编码的示意图见图3所示。
图3 视频序列物方地理编码示意图
卫星视频序列物方地理编码的步骤包括:(1)根据卫星视频覆盖的地理范围或者感兴趣区域的地理范围,在物方空间生成规则格网,格网分辨率可以根据视频序列的空间分辨率或者应用需求确定,格网点的高程值可由DEM 内插获得或采用平均高程值。其中,DEM 内插的示意图如图4 所示,先根据格网点ti 的经纬度坐标、DEM 起始点经纬度坐标和DEM 分辨率,确定格网点所在的DEM 子块,再根据DEM 子块4 个点t1、t2、t3 和t4 的高程值,采用双线性内插法获得格网点的高程值。(2)根据运动补偿后的定向参数构建视频序列中每一帧的定向模型,并根据定向模型将每一个地面规则格网点投影至所有视频帧上,得到像方投影点。(3)根据视频序列上的像方投影点坐标,进行灰度重采样与灰度赋值。
图4 DEM 内插示意图
经过视频序列物方地理编码处理,便可以获得带有地理编码的视频序列,再将这些视频序列合成视频,即可得到带有地理编码的稳像视频。
2 试验结果与分析
2.1
试验数据
为了说明本文方法的正确性和有效性,试验采用珠海一号光学视频卫星进行试验。珠海一号视频卫星采用面阵凝视成像体制,轨道高度为550 km,视频影像的地面分辨率为2 m,视频相机成像探元数为4 096×3 072 像素,单次可拍摄时长为90 s、帧频为20 帧/s 的视频数据。本文试验数据为覆盖美国波士顿地区的视频数据,包括原始视频序列及视频相机成像时的卫星轨道和姿态、成像时间参数等。视频获取时间为2017-07-19,视频时长约55 s,共计1 103 帧,其中第1 帧和第1 103 帧影像如图5 所示。从图5 中可以看出,受卫星成像视角差异的影响,两帧影像之间存大较大的空间分辨率差异及几何变形。
图5 珠海一号视频影像
2.2
视频成像误差分析
为了分析本文视频数据的成像误差,利用三阶分段多项式模型分别拟合视频成像时卫星的3个姿态角(仰俯角、滚动角和偏航角),姿态角拟合值与其观测值的差值如图6 所示,该差值主要为卫星姿态观测误差和卫星平台抖动误差。从图6 可以明显看出,视频成像存在着较大的卫星平台抖动和姿态观测误差,这必然导致卫星视频帧间的抖动,使得卫星视频不流畅,进而制约卫星视频的高精度应用。
图6 卫星姿态角差值
2.3
帧间运动估计试验
本文以卫星视频序列中相邻两帧的前一帧为主帧、后一帧为辅帧,帧间几何变形非常小,可以匹配获得均匀分布的高精度同名像点,其中第1 和第2 帧、第1 102 帧和第1 103 帧之间的同名像点如图7 所示。
图7 视频帧间同名像点
利用卫星视频帧间同名像点进行处理,便可以利用本文的帧间运动模型对辅帧进行运动估计与运动补偿。为了对比分析运动补偿前后卫星视频帧间几何精度,本文分别利用原始定向参数和运动补偿后的定向参数评定卫星视频帧间几何精度,如图8 和表1 所示。
图8 卫星视频帧间几何精度
帧间几何精度评定步骤主要包括:(1)根据主帧定向参数构建定向模型,并根据定向模型将主帧上的每一个同名像点投影至DEM 上,得到物方投影点;(2)根据辅帧定向参数构建定向模型,并根据定向模型将每一个物方投影点投影至像方,得到像方投影点;(3)根据辅帧上的像方投影点坐标及其匹配坐标,统计两者坐标残差中误差,作为帧间几何精度。此外,为了便于比较分析,图8 和表1 中同时给出了以传统仿射变换模型作为帧间运动模型获得的帧间几何精度。
表1 卫星视频帧间几何精度
从图8 和表1 中的试验结果可以看出:(1)受视频成像期间卫星平台抖动和卫星定轨测姿等误差的影响,视频序列中相邻两帧之间存在着明显抖动,帧间几何误差最大达7 像素,平均精度约2 像素。由此可见,原始卫星视频数据的帧间几何精度并未达到子像素级,这将严重制约卫星视频的高精度应用。(2)利用本文方法对辅帧进行运动估计和运动补偿后,可以有效消除卫星平台抖动和卫星定轨测姿等误差的影响,明显提高帧间几何精度,最大误差提升至低于0.4 像素,平均精度提升至优于0.3 像素,这也充分说明了本文构建的卫星视频帧间运动模型的正确性。(3)以仿射变换模型作为帧间运动模型,同样可以获得优于0.3 像素的帧间几何精度。究其原因在于,本文以相邻两帧的前一帧为主帧、后一帧为辅帧进行帧间运动估计,减小了主帧和辅帧之间的几何变形,利用仿射变换模型亦可以有效描述相邻两帧之间的几何关系。
2.4
视频稳像精度验证
通过卫星视频帧间运动估计和运动补偿处理,可以恢复视频帧间精确几何关系。以此为基础,根据本文方法对视频序列进行物方地理编码,可以得到带有地理编码的稳像视频序列,稳像后的第一帧和最后一帧影像如图9 所示。从图9 中可以看出,受卫星姿态控制稳定性、卫星视频成像视角差异等因素的影响,两帧影像地面覆盖的有效范围存在着较大的差异。而对于光学卫星视频的高精度应用而言,通常会关注某一个感兴趣地面区域的变化情况,比如图9 中方框所示。因此,在视频稳像过程中,可以只对卫星视频序列中感兴趣的区域进行地理编码,生成兴趣区域的稳像视频,以减少视频稳像的计算量。
图9 第一帧和最后一帧稳像影像
为了验证本文视频稳像方法的有效性,在稳像后的视频序列中每隔100 帧选择相邻的两帧影像,并采用影像匹配方法获取若干同名像点作为检查点,以同名像点在相邻两帧影像上像点坐标差值的中误差作为视频稳像的精度,结果见表2。同时,为了便于比较分析,表2 中列出了利用仿射变换模型获得的视频稳像精度。
表2 视频影像稳像精度
从表2 中可以看出,利用本文模型和仿射变换模型取得的卫星视频稳像精度均优于0.3 像素,且与表1 中的视频帧间几何精度是一致的,可以满足光学视频卫星帧间子像素级稳像精度的应用要求。然而,仿射变换模型是从视频影像本身出发的像方运动模型,并没有考虑卫星视的成像几何特性,因而获得的稳像视频不含有几何信息,无法从中直接获得感兴趣区域或目标的几何属性,如运动目标的地理位置与运动速度。相比之下,本文方法以卫星视频帧的定向模型为基础,构建帧间运动模型,充分利用了卫星视频序列中每一帧影像的定向参数信息,进一步通过物方地理编码,可以获得含有几何信息的稳定流畅视频。
图10 相邻帧局部影像叠加显示效果
为了目视判读本文方法取得的视频稳像效果,图10 给出了相邻帧局部影像的叠加显示图。为了增强显示效果,两帧影像进行不同程度的灰度拉伸。从图10 中可以看出,两帧影像之间的稳像效果很好,道路、建筑物、湖泊等区域均没有出现错位现象。另外,对于利用仿射变换模型获得的稳像视频,表2 中的试验结果已表明,其视频稳像精度与本文方法获得的稳像精度是一致的,因而也有良好的叠加显示效果,这里不再赘述。
3 结语
针对现有卫星视频稳像方法中视频数据缺少几何信息的关键问题,本文提出了一种带有地理编码的光学视频卫星物方稳像方法。该方法采用逐帧运动估计和补偿的策略,在卫星视频序列中以相邻两帧的前一帧为主帧、后一帧为辅帧,构建基于视频帧定向模型的帧间运动模型,然后通过帧间同名像点求解辅帧相对于主帧的帧间运动参数,并利用运动参数对辅帧定向参数进行运动补偿,在物方空间对视频序列进行地理编码,可以得到带有地理编码的流畅视频。利用该视频数据,在发现运动目标的同时,可及时获得其地理位置与运动速度。
经对珠海一号卫星视频数据的试验结果表明,本文方法可以有效消除卫星平台抖动、卫星定轨测姿等误差的影响,精确恢复视频序列的帧间几何关系,取得的帧间几何精度和视频稳像精度均优于0.3 像素,可以满足光学视频卫星子像素级稳像精度的应用需求,这也充分证明了本文方法的有效性。需要说明的是,本文方法通过主帧和辅帧之间的同名像点求解帧间运动参数,同名像点需要卫星视频序列中的静态地物点。若在卫星视频序列中,运动目标占据主要部分,静态地物占据次要部分,则同名像点将主要分布在运动目标上,这将导致本文构建的帧间运动模型不再适用,以至于难以获得较好的稳像效果。此外,受试验数据偏少的限制,本文只利用一组珠海一号卫星视频数据进行了试验验证,本文方法的普适性还有待进一步验证。
转自:“测绘学术资讯”微信公众号
如有侵权,请联系本站删除!