本发明专利技术涉及航摄图像拼接领域，公开了一种无人机航摄图像实时拼接方法及装置，累积无人机航摄图像关键帧开启实时拼接；对航摄图像关键帧地图点进行过滤处理，进行构建所述点云范围框；根据过滤处理后的航摄图像关键帧地图点生成动态德劳内三角化网格，对点云实时进行点云新增和删除操作，完成动态德劳内三角化网格更新和正射校正；确定点云范围框到地理点云范围框的映射变换系数，进行转换；根据地理点云范围框映射至点云范围框内的点云位置坐标信息实现纹理赋色操作；本发明专利技术解决了单应变换进行图像拼接存在的不足，以及现有Delaunay三角分割实时拼接无法对动态点云数据进行实时处理且无法控制拼图分辨率的缺陷的问题。
【技术实现步骤摘要】
本专利技术涉及航摄图像拼接领域，尤其涉及一种无人机航摄图像实时拼接方法及装置。
技术介绍
1、近年来，随着无人机及相关技术的快速发展，无人机正变得越来越专业，越来越高效，越来越灵活，成本也越来越低；因其种种优良特性，无人机已被广泛应用于测绘、巡检、勘探、应急、救灾等各个领域。
2、无人机的一个重要应用方向为地面监测，利用无人机搭载相机模块在空中飞行，为地面监测提供广阔的空中视野，方便用户实时掌握地面情况；但受限于无人机飞行高度、搭载数码相机的焦距等因素限制，无人机航摄图像呈现像幅小、数量多、单张图像显示地面信息有限等诸多特征，极大地限制了用户对监测目标区域的整体信息把握。
3、目前的现有技术中大多利用单应变换进行航摄图像拼接和利用slam(同时定位与地图构建)实时输出的当前帧特征点与点云作为输入数据，进行二维delaunay三角分割实时地生成dsm，第一种方法具有速度快，整体精度较高的优点，但单应变换要求拍摄对象为平面，而无人机飞行拍摄的地面是不平坦的，即使额外使用gnss(全球导航卫星系统)抑制累积误差，拼接图像在地形起伏较大区域、环境较为复杂区域、有长连续地面对象，例如公路、河流等，也会有一定的图像错位现象，严重影响最终拼接图像在用户面前的呈现效果，第二种方法具有生成速度快、时间复杂度小等优点。但由于slam点云存在更新删除的特点，该技术无法对动态点云数据进行实时处理，且仅能根据输入图像分辨率进行纹理赋色，从而影响整体二维俯视拼接效果的准确度和精度。
技术实现思路</p>1、本专利技术意在提供一种无人机航摄图像实时拼接方法及装置，以解决单应变换进行图像拼接存在的不足，以及现有delaunay三角分割实时拼接无法对动态点云数据进行实时处理且无法控制拼图分辨率的缺陷的问题。
2、为了实现上述目的，本专利技术提供如下方法及装置：
3、本专利技术提供一种无人机航摄图像实时拼接方法是：
4、s1：通过slam系统累计关键帧进行地图点过滤操作，并构建点云范围框，进行动态德劳内三角化网格构建；
5、s2：实时获取所述点云范围框内点的三维坐标数据以及正射关键帧，并进行正射校正；
6、s3：确定所述点云范围框到地理点云范围框的映射变换系数，进行所述点云范围框到所述地理点云范围框的转换；
7、s4：根据所述地理点云范围框映射至所述点云范围框内的点云位置坐标信息实现纹理赋色操作。
8、优选的，所述通过slam系统累计关键帧进行地图点过滤操作，并构建点云范围框，进行动态德劳内三角化网格构建的步骤，包括：根据无人机航摄场景设定无人机航摄图像关键帧数量线；所述slam系统累积无人机航摄图像关键帧，若所述无人机航摄图像关键帧达到所述无人机航摄图像关键帧数量线则开启实时拼接；对所述航摄图像关键帧地图点进行过滤处理，框住所有进行过滤处理后的所述航摄图像关键帧地图点，进行构建所述点云范围框；根据所述进行过滤处理后的所述航摄图像关键帧地图点生成动态德劳内三角化网格，对所述动态德劳内三角化网格中的点云实时进行点云新增和/或删除操作，完成所述动态德劳内三角化网格更新。
9、优选的，所述对所述航摄图像关键帧地图点进行过滤处理，框住所有进行过滤处理后的所述航摄图像关键帧地图点，进行构建所述点云范围框的步骤，包括：根据所述航摄图像关键帧获取局部地图点集，判断每一所述航摄图像关键帧的所述局部地图点集是否大于3，得到过滤地图点集：若所述局部地图点集大于等于3，则进行地图点过滤操作，得到所述过滤地图点集；若所述局部地图点集小于3，则跳过该所述航摄图像关键帧，进入下一所述航摄图像关键帧的判断；根据所述过滤地图点集构建所述点云范围框框住所有所述过滤地图点集，所述点云范围框边界最小值即为地图点最小坐标，所述点云范围框边界最大值即为地图点最大坐标。
10、优选的，所述地图点过滤操作的步骤，包括：获取所述航摄图像关键帧地图点的数据深度平均值h，以及所述航摄图像关键帧地图点的数据标准差sigma，对所述航摄图像关键帧地图点进行判断：若所述航摄图像关键帧地图点的数据深度值小于h-3sigma，则将所述地图点进行滤除；若所述航摄图像关键帧地图点的数据深度值大于h+3sigma，则将所述地图点进行滤除；若所述航摄图像关键帧地图点的数据深度值大于等于h-3sigma且所述航摄图像关键帧地图点的数据深度值小于等于h+3sigma，则将所述航摄图像关键帧地图点进行保留，得到所述过滤地图点集。
11、优选的，所述根据所述进行过滤处理后的所述航摄图像关键帧地图点生成动态德劳内三角化网格，对所述动态德劳内三角化网格中的点云实时进行点云新增和/或删除操作，完成所述动态德劳内三角化网格更新的步骤，包括：根据所述进行过滤处理后的所述航摄图像关键帧地图点进行动态德劳内三角化网格构建，得到新增地图点和slam系统判别需要删除的地图点；对于所述新增地图点进行动态德劳内三角化网格新建，对于slam系统判别需要删除的地图点在构建的所述动态德劳内三角化网格中找到对应所述地图点，并以所述slam系统判别需要删除的地图点为删除点进行网格删除，完成所述动态德劳内三角化网格更新。
12、优选的，所述实时获取所述点云范围框内点的三维坐标数据以及正射关键帧，并进行正射校正的步骤，包括：基于所述动态德劳内三角化网格，对每个所述动态德劳内三角化网格区域进行点集加密操作，并获取每点的所述三维坐标数据；通过所述点云范围框获取在所述动态德劳内三角化网格中的最近邻点；将所述最近邻点的高程数据设为所述动态德劳内三角化网格的顶点高程插值；对所述最近邻点通过正射校正进行关键帧判断。
13、优选的，所述对所述最近邻点通过正射校正进行关键帧判断的步骤，包括：若通过所述点云范围框获取在所述动态德劳内三角化网格中的最近邻点具有所述关键帧，则获取所述最近邻点的关键帧，并将所述最近邻点的关键帧作为所述正射关键帧；若通过所述点云范围框获取在所述动态德劳内三角化网格中的最近邻点不具有所述关键帧，则默认所述最近邻点没有所述正射关键帧。
14、优选的，所述确定点云范围框到地理点云范围框的映射变换系数，进行所述点云范围框到所述地理点云范围框的转换的步骤，包括：
15、确定所述点云范围框到所述地理点云范围框的映射变换系数，公式为：
16、delta＝resolution*scale，
17、其中，delta为每米多少个像素，resolution为设定像素个数，scale为距离；
18、以所述地理点云范围框尺度为单位，在背景画布任意位置进行实时拼接操作，将背景画布替换为真实地理地图，得到x轴范围为(lx，rx)，y轴范围为(ly，ry)的所述地理点云范围框，
19、其中lx＝minx/delta,rx＝maxx/delta,ly＝miny/delta,ry＝maxy/delta，minx为点云范围框x最小值，maxx为点云范围框x最大值，miny本文档来自技高网
...
【技术保护点】
1.一种无人机航摄图像实时拼接方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种无人机航摄图像实时拼接方法，其特征在于，所述通过SLAM系统累计关键帧进行地图点过滤操作，并构建点云范围框，进行动态德劳内三角化网格构建的步骤，包括：
3.根据权利要求2所述的一种无人机航摄图像实时拼接方法，其特征在于，所述对所述航摄图像关键帧地图点进行过滤处理，框住所有进行过滤处理后的所述航摄图像关键帧地图点，进行构建所述点云范围框的步骤，包括：
4.根据权利要求3所述的一种无人机航摄图像实时拼接方法，其特征在于，所述地图点过滤操作的步骤，包括：
5.根据权利要求2所述的一种无人机航摄图像实时拼接方法，其特征在于，所述根据所述进行过滤处理后的所述航摄图像关键帧地图点生成动态德劳内三角化网格，对所述动态德劳内三角化网格中的点云实时进行点云新增和/或删除操作，完成所述动态德劳内三角化网格更新的步骤，包括：
6.根据权利要求1所述的一种无人机航摄图像实时拼接方法，其特征在于，所述实时获取所述点云范围框内点的三维坐标数据以及正射关键帧，并进行正射校正的步骤，包括：
7.根据权利要求6所述的一种无人机航摄图像实时拼接方法，其特征在于，所述对所述最近邻点通过正射校正进行关键帧判断的步骤，包括：
8.根据权利要求1所述的一种无人机航摄图像实时拼接方法，其特征在于，所述确定点云范围框到地理点云范围框的映射变换系数，进行所述点云范围框到所述地理点云范围框的转换的步骤，包括：
9.根据权利要求7所述的一种无人机航摄图像实时拼接方法，其特征在于，所述根据所述地理点云范围框映射至所述点云范围框内的点云位置坐标信息实现纹理赋色操作的步骤，包括：
10.根据权利要求9所述的一种无人机航摄图像实时拼接方法，其特征在于，所述第一拼接赋色操作的步骤，包括：
11.根据权利要求9所述的一种无人机航摄图像实时拼接方法，其特征在于，所述第二拼接赋色操作的步骤，包括：
12.一种无人机航摄图像实时拼接装置，其特征在于，所述装置包括：
13.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-11任一项所述的无人机航摄图像实时拼接。
...
【技术特征摘要】
1.一种无人机航摄图像实时拼接方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种无人机航摄图像实时拼接方法，其特征在于，所述通过slam系统累计关键帧进行地图点过滤操作，并构建点云范围框，进行动态德劳内三角化网格构建的步骤，包括：
3.根据权利要求2所述的一种无人机航摄图像实时拼接方法，其特征在于，所述对所述航摄图像关键帧地图点进行过滤处理，框住所有进行过滤处理后的所述航摄图像关键帧地图点，进行构建所述点云范围框的步骤，包括：
4.根据权利要求3所述的一种无人机航摄图像实时拼接方法，其特征在于，所述地图点过滤操作的步骤，包括：
5.根据权利要求2所述的一种无人机航摄图像实时拼接方法，其特征在于，所述根据所述进行过滤处理后的所述航摄图像关键帧地图点生成动态德劳内三角化网格，对所述动态德劳内三角化网格中的点云实时进行点云新增和/或删除操作，完成所述动态德劳内三角化网格更新的步骤，包括：
6.根据权利要求1所述的一种无人机航摄图像实时拼接方法，其特征在于，所述实时获取所述点云范围框内点的三维坐标数据以及正射关键帧，并进行正射校正的...
【专利技术属性】
技术研发人员：刘雪丹，曹治锦，宋一言，
申请(专利权)人：成都纵横大鹏无人机科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。