无人机地理影像直播的8个关键技术

无人机地理影像直播的8个关键技术

　　航拍都拍啥,城门航拍,航拍职务在灾害监测、抢险救援、反恐维稳、重大群体行动等场合对事件发生和演化的现场需要进行实时监视、目标跟踪与三维定位以及快速实施定量化评估传统基础测绘所沿用的数据采集与处理流程、地理信息延时或滞后服务的保障模式已经难以满足对任务或事件快速反应、精确评估、科学决策、有效应对的较高要求因此探索地理空间信息直接服务、甚至直播服务的新思路构建地理空间信息快速响应的技术体系成为摆在我们面前不容回避、不可懈怠的重要任务

　　无人机特别是旋翼无人机作为一种灵活性、机动性兼备的灵动型飞行观测平台其在观测区域上空悬停和绕飞的能力有利于对目标区连续观测、凝视观察和动态跟踪成像显然是地理影像直播技术的首选遥感平台

　　针对这一现实需求我们于2011 年率先提出“现场直播式地理空间信息服务的构想与体系”并得到“十二五”装备预先研究项目(编号：)的重点支持在合作伙伴的通力配合下历时五年在理论方法、关键技术、装备试验等方面取得重要突破《无人机地理影像直播技术》（张永生于英薛武著 北京：科学出版社20203）一书正是对该项研究的全面总结本书既注重基础理论和核心技术也十分重视实用技术和试验测试方法手段多项相关的理论技术成果已经在实践中进行了应用和验证

　　无人机地理影像直播的基本思路是在旋翼无人机平台上搭载遥感观测任务载荷实现对目标区成像数据、位置和姿态辅助参数等的动态采集同时在地面车载系统上完成准实时的高速并行数据处理作业

　　其主要的工作流程如下：

　　在无人飞行平台上由一套面阵电荷耦合元件(charge coupled deviceCCD)相机进行非连续的高分辨率单帧成像和一套高清视频摄影机进行连续成像实现在目标区域上空对地面立体视觉观测和基础数据采集

　　与任务载荷共平台固定安置高精度定位/定姿单元用于实时测量任务载荷在空间的瞬时位置与姿态参数定位/定姿单元分别由卫星定位模块和惯性测量模块组成其中卫星定位模块提供空间基准和时间基准惯性测量模块则记录连续的姿态变化参量这组数据为成像系统的空间定位、定向和时间同步奠定可靠基础

　　数据无线传输模块把在轨探测的有效数据下传至地面车载接收处理系统

　　地面车载系统分别由飞行器运控子系统、机载观测数据接收系统及近实时、准智能化的快速测绘处理子系统组成车载系统完成对无人飞行器的控制、任务载荷的作业控制、数据接收、快速测绘处理等任务

　　近实时、准智能化的快速测绘处理子系统硬件部分由一组GPU 高速并行处理单元和高集成度的板卡处理模块构建出小型化集群处理环境；软件则主要由位置/姿态测量数据差分和滤波处理模块、序列视频地理空间注册模块、连接点提取模块、区域网平差模块、影像密集匹配模块、正射影像纠正模块和三维建模等模块组成

　　无人机遥感系统架构示意图

　　本书采用层次化思想将无人机遥感系统分为数据获取层、功能层、服务层和应用层并辅助以保障系统和数据远程传输基于无人机平台的摄影测量工作是建立在数据获取层的基础上研究功能层中若干关键技术的快速实现算法构建服务层中的各种地理信息服务从而实现应用层服务中的应急事件快速测绘、目标精确测绘、作战遂行动态测绘和相对方位精密测绘等目标

　　根据上述无人机地理影像直播服务的基本思路用户在无人机飞行控制系统上划定航测区域然后利用无人机搭载光电吊舱对航测区域进行动态观测通过无线数据传输模块将拍摄获得的影像、视频和POS 数据传输到地面数据处理系统为保证无线数据传输的通畅一般把地面数据处理系统放到车载平台上车载平台跟随无人机移动以保证两者间的距离始终处于无线数据传输的有效范围内地面车载数据处理系统接收到数据后将进行准实时的处理为此无人机地理影像直播涉及的关键技术主要包括如下几个方面

　　1、集成化机载传感器载荷

　　执行测绘任务的无人机对载荷的体积、质量和供电等方面有一定的限制特别是有效载荷的总质量一般要控制在20～50kg因此发展轻小型的测绘传感器有效载荷成为无人机对地观测系统设计的首要约束条件单一功能的传感器往往难以完成综合性强的动态测绘任务通常需要多个传感器的协同探测和功能融合才能构成较为科学合理的作业模式以动态位置姿态测量传感器、高分辨率光学成像传感器及序列成像视频传感器多模态组合的载荷配置方式更加符合动态测绘和地理空间信息直播服务的现实需求主要的传感器载荷包括：

　　位置姿态测量传感器系统(POS)由机载卫星导航定位接收单元和惯性测量单元组成的轻量型POS 系统是动态飞行条件下连续获得探测平台瞬时位置姿态参数不可或缺的基本手段也是摆脱地面控制点约束实现快速直接地理定位的首选技术POS 系统可为其他同步工作的遥感传感器提供空间绝对定位定向必不可少的时空基准

　　中幅面光学成像传感器面阵CCD 器件的快速发展使得5000 像素×7000 像素甚至12000 像素×12000 像素级别的单片CCD 高分辨率光学相机相继出现无人机飞行航高在500～3000ｍ的范围可获得005～03m 的地面分辨率

　　序列成像视频传感器(video)在突发事件热点区域电视直播造成的视觉冲击和身心感受使人印象深刻视频序列成像的每帧画面在同步POS 测量参数的标注下可即时转化为具有定量化地理空间信息标志的动态影像产品比电视直播具有更加精确、量化的信息优势这样的动态地理影像对于快速反应、应急救援、即时决策具有更加特殊的意义和价值

　　2、机载任务载荷传感器及其集成

　　在飞行平台约束条件下实现中等幅面的面阵CCD 数字相机构成的较高分辨率的视觉传感器、可变焦的中低分辨率视频传感器、辅助传感器空间位置与姿态测量的POS单元、无线数据通信单元、工控计算机等主要模块的指标匹配及同步控制的相关技术以及同平台的系统集成技术

　　3、多传感器几何定标与相机内参数校正

　　解决面阵CCD 相机、POS 单元和视频传感器的零位置探测参数和传感器之间相对几何关系(偏心分量、视轴偏心角)以及影响定位精度的多参数遥感外场检校技术此外在采用合适的相机畸变模型的基础上研究室内和野外等不同条件下相机参数内参数标定方法

　　4、机载平台序列影像抽帧地理空间注册与三维标定快速算法(即快速确定有效影像并准实时进行外方位元素赋值)

　　主要解决旋翼无人飞行器在空中悬停或绕飞状态下序列视频成像的地理空间标注技术以同步测量的动态POS 定位/定姿参数为基础实现高效率的参数内插与瞬时赋值算法依照规则的元数据体系对序列视频图像的地理空间实时注册达到对“热点”目标区抵近观测、凝视观测的定量化表达

　　5、多视连接点自动提取技术

　　无人机影像成像参数的解算与优化计算机视觉中采用运动恢复结构的方法摄影测量中则通过空中三角测量无论是计算机视觉中的方法还是摄影测量的方法均需要获取同一地物在不同影像上的对应关系从而将离散的影像“连接”起来

　　6、无人机影像对地定位技术

　　以高精度的空间位置与姿态测量单元为基础首先解决传感器位置/姿态测量数据的处理问题即POS 单元的全球导航卫星系统(global navigation satellite systemGNSS)卫星测量数据与惯性测量单元(intertial measurement unitIMU)惯性测量数据卡尔曼滤波序贯处理技术进而解决POS 数据用于确定机载传感器定位定向参数的技术以及非常规立体摄影测量定位模型与稳健解算方法为高空间分辨率立体图像地理定位、重建目标区三维形态及序列视频图像地理空间注册提供地球空间信息框架(大地坐标基准)与外方位参数

　　7、面阵CCD 立体图像的快速自动立体匹配技术

　　基于视觉原理、图像灰度与特征相结合的自适应匹配算法解决影像匹配时地物遮挡、几何变形等技术难题在集群计算环境下设计稳健、智能化的通用处理算法和二维分解后的多个一维线性搜索同步处理的内在并行处理算法进而全面提高目标区数字地表模型三维信息采集的作业效率

　　8、非常规立体成像的正射微分纠正及无缝镶嵌的技术与并行算法

　　利用POS 位置、姿态参数或(和)数字地表模型的机载高分辨率CCD 图像快速几何校正及无缝镶嵌技术以及序列图像动态嵌入正射影像的数字镶嵌与实时更新算法在数据后处理中以多GPU 为核心实现大规模视觉图像数据并行处理技术以及适合于多GPU 处理器的高性能计算技术

　　本书对无人机地理影像直播从数据获取到数据处理全流程涉及的核心技术进行了比较详细的论述和介绍主要包括无人机三轴陀螺稳定云台与光电吊舱、相机内参数标定、多传感器几何标定、无人机视频地理信息直播、无人机影像多视特征提取与匹配、区域网平差、立体影像密集匹配、数字正射微分纠正等方面的理论和方法等书中所介绍的技术方法主要为满足无人机地理影像直播中的数据处理速度方面需求并在一定程度上兼顾精度指标本书可供遥感、测绘、导航、地理空间信息、地理空间情报、无人机应用等领域的科研工作者、相关学科专业的高年级本科生、研究生阅读参考

　　本文摘编自《无人机地理影像直播技术》（张永生于英薛武著 北京：科学出版社20203）一书“第1章 绪论”有删减