【技术实现步骤摘要】
本专利技术属于三维可视化下的多路视频与三维场景拼接融合，尤其涉及一种多路视频与三维场景拼接融合方法。
技术介绍
1、随着数字孪生技术不断深入发展，视频监控系统已经成为新时代社会治安中不可或缺的部分，在基础设施建设、流动性管理等众多方面扮演着重要的角色。特别是在复杂的场景中，多路相机视频监控系统由于其全面的特点而显得尤为关键。但是，面对监控摄像头数量的激增和监控网络的日益复杂，如何协调和提升这些零散的视频数据，挖掘其中的重要信息，已经成为监控系统进一步发展急需解决的难题。
2、现有研究采用纹理映射的方式，直接对视频画面进行投影，由于摄像头间的数据独立运作，没有解决多视角画面重合部分自然过渡的问题，造成了严重的错位扭曲现象，由于视频节点接入需求激增，造成了较大的渲染延迟，增加了研判成本。针对以上问题，本研究专注于多视角视频融合技术的研究，目标是通过不同视频流在同一坐标系下的无缝对接达到实时融合多个监控视频的效果,生成一个连续无缝的三维全景，极大地拓宽了监控视角，此外通过一种按需渲染结合缓存的策略，提高了渲染帧率。该系统的独特之处在于它能够快速重建由手机或无人机拍摄的图像中的静态三维虚拟场景。通过增强虚拟环境中称进行漫游,为用户提供一个丰富的交互式体验。这种合成多源视频流的能力大大增强了用户的沉浸感，消除信息隔阂。
3、通过上述分析，现有技术存在的问题及缺陷为：
4、多路监控视频投影融合的应用场景复杂多样，如全息路口、智慧园区运维平台。该场景需要将多个摄像头的视频实时、准确地拼接成大范围的观察视图，
5、(1)传统视频图像拼接针对的场景较为简单，并未涉及将拼接的视频图像与三维虚拟场景结合的复杂需求，导致在整合投影相机信息至三维空间方面表现不佳。
6、(2)目前广泛采用的特征检测算法，例如sift(scale invariant featuretransform)和surf(speeded-up robustfeatures)算法的处理速度较慢，不符合本文对实时性的要求，同时，传统的orb(oriented fast and rotatedbrief)算法虽快，但在特征提取的准确性上略显不足。
7、(3)传统重叠区域融合方法在处理颜色差异较大的图像时，难以有效处理视频帧间不连续性的问题，造成拼接区域出现明显的伪影。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供了一种多路视频与三维场景拼接融合方法。
2、本专利技术是这样实现的，一种多路视频与三维场景拼接融合方法包括：
3、本方案旨在通过一系列精细化步骤，实现三维场景与多路视频的高效拼接融合。首先，通过场景分析，本专利技术深入理解场景内各物体的几何形状、空间位置和边界信息，利用广度优先搜索收集几何数据，并为复杂结构物体从模型文件中提取几何信息。接着，计算每个物体的轴对齐包围盒(aabb)，精确确定物体在三维空间中的极值顶点坐标，为后续步骤奠定基础。
4、采用启发式排序方法，本专利技术优化了层次包围盒(bvh)的结构，确保场景中物体的有效分割，这一过程不仅提高了处理效率，还减少了渲染时的计算负担。通过对包围盒的启发式排序和分割，配合终止条件的应用，本专利技术能够为每个子集创建合适的bvh节点，无论是内部节点还是叶子节点。
5、此外，方案中特别关注投影相机与bvh之间的交互分析，这一步骤关键于评估和优化相机视野与包围盒的相交关系。通过结合相机的位姿标定和内部参数，本专利技术精确计算了相交情况，这对于确保视觉效果的连贯性和准确性至关重要。
6、在系统层面，本方案设计了一个包括浏览器端和服务器端的多路视频与三维场景拼接融合系统。浏览器端负责视频渲染和界面交互，而服务器端处理数据存储和视频图像的拼接融合。此外，视频相机注册模块和数据分析模块进一步增强了系统的功能性和灵活性。
7、最后，本方案的实施不仅限于特定硬件，还提供了计算机设备、计算机可读存储介质和信息数据处理终端的设计，以支持所述方法的广泛应用。通过这种全方位的设计，本方案为三维场景与多路视频的高效、精确拼接融合提供了一种创新的技术解决方案。
8、步骤一，场景分析；
9、步骤二，为场景中每个物体计算其轴对齐包围盒；
10、步骤三，采取启发式排序方法平衡层次包围盒(bounding volume hierarchy，bvh)；
11、步骤四，根据启发式排序的结果，场景中的物体被分割；
12、步骤五，分析投影相机与bvh之间的交互，以评估每个相机视野与bvh中包围盒之间的相交关系。
13、进一步，所述场景分析方法：
14、首先，考虑物体的几何形态、空间位置及边界信息；从对整个三维场景进行广度优先搜索开始，收集所有物体的几何信息；对每个物体建立起几何形状的映射，对于结构复杂的物体，从模型文件中提取几何数据；
15、其次，确定每个物体在空间坐标系下的具体位置、旋转角度和缩放大小；这涉及模型变换矩阵的计算，依次左乘模型的平移矩阵t、旋转矩阵r和缩放矩阵s。
16、进一步，所述为场景中每个物体计算其轴对齐包围盒：
17、假设场景中所有物体通过顶点集合v＝{v1,v2,...,vn}描述，其中每个顶点vi为三维坐标(xi,yi,zi)，为场景中每个物体计算其轴对齐包围盒，包括确定物体在x,y,z轴向的极值顶点坐标；
18、对于场景中的每个顶点vi，计算其在空间坐标系中的位置pi，即pi＝m·zi，这里m代表从局部坐标系到空间坐标系的变换矩阵；
19、算法1展示了构造aabb包围盒的伪代码，该算法通过处理场景中所有物体的三维坐标来计算各自的aabb；
20、首先，初始化aabb的minpoint和maxpoint作为界限，然后对于顶点集v中的每个顶点vi，依照算法循环迭代更新这些界限，最后，使用中心点定义aabb。
21、进一步，所述采取启发式排序方法平衡bvh：
22、按照物体aabb的中心点在特定轴上的位置进行排序；如果两个物体在该轴上的中心点之间的距离小于预设的阈值，根据物体包围盒的表面积来确定不同区域的排序位置；算法中的阈值是根据每个物体的aabb最大尺寸的平均值乘以比例因子来确定的。
23、进一步，所述根据启发式排序的结果，场景中的物体被分割；
24、根据启发式排序的结果，场景中的物体被有效地分割；左从根节点开始，递归地将物体集合划分成更小的子集；
25、对于每个子节点，分割过程持续进行，直到节点所包含的体积缩减到整个场景体积的0.1％；达到终止条件后，为每个子集创建相应的bvh节点；如果子集为叶子节点，即不再进一步分割，则叶子本文档来自技高网...
【技术保护点】
1.一种多路视频与三维场景拼接融合方法，其特征在于，包括以下步骤：
2.如权利要求1所述多路视频与三维场景拼接融合方法，其特征在于，所述场景分析方法：
3.如权利要求1所述多路视频与三维场景拼接融合方法，其特征在于，所述为场景中每个物体计算其轴对齐包围盒：
4.如权利要求1所述多路视频与三维场景拼接融合方法，其特征在于，所述采取启发式排序方法平衡BVH：
5.如权利要求1所述多路视频与三维场景拼接融合方法，其特征在于，所述根据启发式排序的结果，场景中的物体被分割；
6.如权利要求1所述多路视频与三维场景拼接融合方法，其特征在于，所述分析投影相机与BVH之间的交互，以评估每个相机视野与BVH中包围盒之间的相交关系：
7.一种实施如权利要求1-6任意一项所述多路视频与三维场景拼接融合方法的多路视频与三维场景拼接融合系统，其特征在于，所述多路视频与三维场景拼接融合系统包括：
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-6任意一项所述多路视频与三维场景拼接融合方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述多路视频与三维场景拼接融合系统。
...【技术特征摘要】
1.一种多路视频与三维场景拼接融合方法，其特征在于，包括以下步骤：
2.如权利要求1所述多路视频与三维场景拼接融合方法，其特征在于，所述场景分析方法：
3.如权利要求1所述多路视频与三维场景拼接融合方法，其特征在于，所述为场景中每个物体计算其轴对齐包围盒：
4.如权利要求1所述多路视频与三维场景拼接融合方法，其特征在于，所述采取启发式排序方法平衡bvh：
5.如权利要求1所述多路视频与三维场景拼接融合方法，其特征在于，所述根据启发式排序的结果，场景中的物体被分割；
6.如权利要求1所述多路视频与三维场景拼接融合方法，其特征在于，所述分析投影相机与bvh之间的交互，以评估每个相机视野与bvh中包围盒之间的相交关系：
<...【专利技术属性】
技术研发人员：王建东，李昌令，李光夏，张志为，赵双睿，习宁，刘灿，葛瑞崟，王超，薛天琳，
申请(专利权)人：西安电子科技大学青岛计算技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。