中国指挥与控制学会会刊 
1 实景三维建模概念及优点
实景三维建模是一项实景还原技术,通过相机、无人机或激光雷达等设备从多个角度采集物体影像或表面结构数据,使用计算机图形学等算法快速构建地物的逼真实景三维模型。当前,实景三维建模技术主要有倾斜摄影测量、激光扫描和单体建模等3种。随着倾斜摄影测量技术和计算机视觉算法的发展,使得大场景、高逼真和高帧率的三维模型自动构建和渲染成为可能,本文研究的实景三维建模技术主要以倾斜摄影测量技术为主。
相较于传统三维建模技术,实景三维建模有以下3个特点:一是沉浸体验更强。该技术通过图形学算法或激光扫描技术获取物体表面三维点云数据,并通过实景图像纹理映射,最大限度渲染还原真实物体景况,较传统2.5维的模型逼真度更高;二是构建速度更快。该技术在图像或激光点云数据获取后,利用计算机视觉特征提取、自动匹配、网格构建、纹理映射等算法,全自动一站式解决大场景城市三维模型自动生成问题,较传统手工单体建模速度更快;三是项目开支更小。随着无人机技术广泛应用,无人机影像获取成本低廉,传统建模需花费较多人力进行外业拍摄并进行手动建模和纹理映射。
2 视景数据库开发与应用流程
利用无人机倾斜摄影测量技术,构建直升机模拟器视景地形数据库与应用系统主要有4个步骤,即项目准备、数据采集、实景建模和渲染调度,如图1所示。
2.1 项目准备
项目准备主要有3个步骤。一是资料研究。针对直升机飞行训练目的和特点,通过图上作业方式,确定城区、丘陵、平原等场景的无人机倾斜摄影区域及模型分辨率。二是现地勘察。收集任务区域周围地形、主要设施和地上物体分布等信息,用于确定无人机起降点、飞行高度和航线方式等。三是制定摄影飞行计划。在上述两步的基础上,进一步明确无人机机型、任务和目标、任务区域幅员边界、无人机起降点、航向和旁向重叠度、飞行速度、高度和拍摄间隔等信息。
2.2 数据采集
数据采集主要有4个步骤。一是无人机组装及试飞。飞手按照规范组装好事先选定的无人机,检查倾斜相机模组、图传数据链路、飞行控制参数等,并进行简单的飞行性能测试;二是无人机航线设置。根据项目准备阶段确定的建模区域和航线方式,通过无人机自带的飞控软件或商业软件进行航线规划设计,重点确定飞行高度、飞行速度、航向重叠度、旁向重叠度、拍摄间隔时间等参数。三是飞行任务执行。飞手按照设定的飞行参数起飞无人机,获取图像信息和对应的POS姿态信息,同时通过图传界面查看无人机飞行参数等信息;四是数据检查。飞行结束后,检查拍摄图像是否覆盖整个区域且图像是否清晰,否则视情况进行补拍。
2.3 实景建模
实景建模主要有5个步骤。
一是数据预处理。将无人机记录的GNSS位置与IMU姿态角作为每张影像的外方位元素,并对倾斜摄影镜头的径向和切向畸变进行参数化校正,以提升后续特征匹配精度。
二是特征提取与匹配。采用SIFT和SURF等算法提取影像角点与纹理特征,采用欧氏距离度量特征描述子;通过RANSAC算法剔除误匹配,得到相邻相片的同名像点。
三是空中三角加密。通过光束法区域网平差与高精度POS数据融合实现。基于共线条件方程建立影像像点与物方点的几何关系,将每张相片的外方位元素与加密的物方坐标(X,Y,Z)作为未知数联合计算,公式如下:
x=-f
y=-f
其中,(XS, YS, ZS)为摄点坐标,ai,bi,ci为外方位元素旋转矩阵,(x, y)为同名点像方坐标,f为焦距。采用最小二乘法构建误差方程,迭代优化外方位元素与加密点坐标,直至残差收敛,求得稠密点云物方坐标。
四是网格自动构建。采用Poisson泊松算法或三维Delaunay算法等对物体表面密集三维点云进行网格剖分,构建TIN三角网,生成物体表面白模。
五是纹理自动映射。在上述对影像进行畸变校正的基础上,通过物方点、投影中心与像点三点共线关系,计算白模三角面片与对应影像的纹理映射区域,对同一三角面片匹配的多张影像进行质量评估,优选分辨率高、遮挡少的影像作为主纹理源,生成二维纹理空间和三维纹理空间的映射关系。
2.4 渲染调度
渲染调度主要有3个步骤。一是全球地理数据构建。本文使用开源三维数字地球引擎库osgEarth搭建全球地理信息底座,实现全球地理信息数据漫游检索。二是实景三维模型组织。综合考虑建模区域大小和模型分辨率,对建模区域进行分块点云重建,利用四叉树算法对分块模型进行分页LOD数据组织存储。三是视景仿真实时调度。将倾斜摄影实景模型加入数字地球叶节点,并将视点重置为直升机驾驶员视角,结合飞行操纵实现直升机模拟器视景系统的实时调度。
3 关键技术
3.1 倾斜摄影三维建模技术
倾斜摄影技术通过下视、前视、后视、左视和右视5个镜头获取地物具有一定重叠度的倾斜影像,经过空中三角测量、点云网格生成和纹理自动映射等步骤,生成地物逼真的三维模型,流程图如图2所示。
3.1.1 空三加密
3.1.2 稠密点云网格重建
上述方法生成的稠密点云常带有各种噪声数据,基于城市建筑结构特点,本文使用一种基于平面结构特征的点云网格生成方法[7]。首先利用随机采样一致性(RANSAC)算法提取场景中的平面结构,将原始稠密点云结构化为属于一个平面的平面点、两个平面相交的折点、三个平面以上相交的角点和散乱点共4类;然后利用三维Delaunay对结构化后的点云进行空间四面体剖分;最后使用最小割优化算法,对剖分结果进行表面提取,重建出稠密点云的TIN三角网模型。
3.1.3 模型纹理自动映射
网格模型三角面片在多张初始图像中都有纹理与之相对应,可利用马尔科夫随机场等优化算法,根据面片与初始图片角度关系、图片质量等约束条件求解每个三角面片对应的最优纹理块并生成纹理映射集[8],最后对相邻纹理块因光照等原因造成的“拼接感”问题,利用泊松编辑算法进行匀色处理。
3.2 大场景实景三维模型组织与调度技术
实景三维模型网格数量大、纹理细节高,海量图形图像数据同时加载进内存并在显卡中渲染对计算机性能提出极高要求,需要对大场景实景三维模型数据组织和实时调度进行优化。基于四叉树的实景三维模型数据组织如图3所示。
3.2.1 稠密点云分块生成
分块的目的是将大范围的点云重建分割成面积相等或点云数量相等的若干块,对每块使用PMVS[9]算法进行稠密点云生成。首先,根据计算机性能和重建区域地幅大小对重建区域进行点云数量相等大小划分,为避免最终重建的网格模型每个块之间出现裂缝,采取每块网格向外扩展一定比例的裙边;其次,根据相机POS数据和图片外方位元素求解聚类出每块网格对应的图片;最后,利用PMVS算法生成每个分块网格的稠密点云。
3.2.2 网格模型剖分与接边处理
本文对每块稠密点云进行三角网构建和纹理自动映射后,需要对三维模型进行多分辨率的LOD构建,以满足仿真模型的实时调度与渲染。首先,利用四叉树数据结构对每块网格模型进行纵向递归剖分;其次,为解决相邻层级模型在接边处因顶点数量不同导致裂缝问题,在四叉树剖分时,边界处向两边各扩展等距离宽度形成窄带边约束,从而改进QEM边塌陷的网格简化算法[10],使相邻分辨率网格模型在边界处顶点位置和高程相同,完美解决接边裂缝问题;最后,使用OpenSceneGraph开源渲染引擎定义的osgb模型格式组织多分辨率LOD三维模型。
3.2.3 视点相关的模型LOD动态调度
在LOD模型中,算法可以根据视线在景物表面停留的时间、视线的方向、目标距离视点的远近以及观察目标在画面上投影区域的大小等因素决定物体所要选择的细节层次。本文使用OpenSceneGraph渲染引擎将重建的每块网格纹理模型挂载在根节点下,每块网格模型作为PageLOD分页叶节点,渲染时,根据视点与模型的距离关系,通过I/O自动从外界存储设备中加载相应层级分辨率的网格模型进行绘制,或者从内存中卸载模型。
4 应用案例
4.1 试验数据
本文数据采集设备采用大疆精灵4,挂载1个FC6310R相机,利用Rainbow商业飞控软件控制相机云台从左、右、前、后、垂直五个方向对城区数据进行采集。试验区域位于浙江省慈溪市福源村,面积约1.3km2,包括房屋、稻田、植被、水系、高架桥等地物。无人机采用交叉“Z字形”条带状航线,飞行高度约120米,航向重叠度为70%,旁向重叠度为65%,共获取相片2 250张,大小共计约3.5G,如图4所示。
4.2 仿真效果
5 结束语
本文将倾斜摄影实景建模技术应用于直升机飞行模拟器视景仿真地形数据库设计中,研究了视景地形数据库开发及应用流程,重点分析倾斜摄影三维自动建模和模型分页调度等关键技术,并以某郊区为例,完成某型直升机模拟器视景系统设计开发。应用效果表明:该系统能够逼真展示城市大场景中直升机训练飞行环境,满足直升机驾驶人员训练需求。