【技术实现步骤摘要】
本专利技术属于视频融合，具体涉及一种面向工业智能化的多路视频实时融合方法。
技术介绍
1、工业厂区生产环境恶劣，通常处于高温高压下且需要多工位协同作业，有效的视频监控系统能够实时检测并协调各个生产环节，保证产区的稳定运行。目前，工业厂区内监控系统主要依赖于多个独立摄像头进行视频采集，各个摄像头的输出被独立传输到监控中心，视频间重叠区域大，监控人员需要同时观察和分析多个视频流，无法对全局场景有效感知，导致人员信息处理效率低下，难以快速、准确地做出决策。
2、当前，视频融合技术在智慧交通、虚实结合等领域已有一定的发展，但在工业领域仍存在很多未解决的行业痛点问题。基于交通、安防场景的视频融合技术通常摄像头安装位置较高，景深大且无立体视差，基于较为简单的匹配算法便能进行图像融合。而在复杂的工业场景中，由于摄像头的远距离安装和广泛视角，重叠区域同一物体在不同视角下呈现出不同形态，导致相同点的相关描述符差异显著，难以进行准确匹配。其次，一些现有技术在对视频流的处理能力上存在瓶颈，难以满足高带宽、多路视频的实时处理需求。工业厂区占地面积大，通常需要几十个摄像头才能获取无死角监控视频，而现有技术在处理时性能不足，无法实现实时且精准的融合。并且，一些现有方案在适应工业厂区这类特殊场景的能力和可扩展性方面还有待提高。
3、因此，为解决在工业厂区传统监控系统存在的问题，亟需提出一种面向工业智能化的多路视频实时融合方法，以满足工业生产的监测需求，提高监控系统的整体感知性和人员监管效率。
技术实现思路<
1、针对上述技术问题，本专利技术提出一种面向工业智能化的多路视频实时融合方法；通过实时视频融合技术，解决传统视频监控系统的分散性、信息孤岛和信息冗余问题以及视频融合延时大的问题。
2、本专利技术采用的技术方案为：
3、一种面向工业智能化的多路视频实时融合方法，所述方法包括：
4、设备安装：将监控摄像机固定安装，通过控制各个监控摄像机的安装位置使相邻摄像机采集的图像有重叠区域；
5、掩膜制作：获取任意同一时刻下具有重叠区域的各摄像机图像，进行图像预处理，制作获得掩膜模板；
6、首帧图像处理：获取各个摄像机对应的视频首帧图像，对视频首帧图像进行处理，获得待拼接图像；计算获得所述待拼接图像在最终融合图像中的起始位置以及最终融合图像的尺寸；根据所述起始位置和最终融合图像的尺寸获取每个图像左右添加黑边矩阵；将所述掩膜模板以及所述黑边矩阵从cpu端上传至gpu端；
7、实时视频融合：获取各个监控摄像机的视频流，对各个视频流进行逐帧缩放及掩膜处理，并上传至gpu，生成图像帧序列；对所有图像帧序列进行融合排序得到待融合图像序列集，待融合图像序列集中各图像帧序列顺序与摄像机实际安装顺序一致；基于cuda加速依次对同一时刻下各序列图像添加边界并进行融合，并基于加权渐入渐出融合算法对拼接缝进行优化，消除基于缝合线拼接时存在的拼接缝，生成宽视场无缝融合全景图像。
8、进一步地，在所述设备安装步骤中，所有监控摄像机以相同姿态固定于立柱上，并确保目标产线中的设备在各监控画面中处于居中位置，所有监控摄像机焦距设置为最小；且相邻摄像机之间有至少1/3的重叠区域。
9、进一步地，所述掩膜制作的步骤具体为：
10、计算图像缩放参数：获取同一时刻下的各摄像机图像，选取某一摄像机为基准，以基准摄像机对应的图像中设备的尺寸为基准，并基于重叠区计算相邻图像的缩放比例，并依次获取所有图像的缩放参数；
11、缝合线选取：根据重叠区中设备所处位置，人工选取最佳缝合线，将最佳缝合线选取在无前景设备的背景处；进而根据缝合线位置确定每幅图像的保留区域与删除区域，将所述保留区域的像素值设置为1，将所述删除区域的像素值设置为0，获得初始掩膜模板；
12、对所述初始掩膜进行修改，修改后掩膜模板表示为：
13、
14、其中，i(x,y)表示(x，y)处掩膜的值；x，y分别表示图像的横坐标与纵坐标，i0表示像素值为0的删除区域，xseam表示所述最佳缝合线上点的横坐标，d表示待融合区域的长度，i1表示将原保留区域去除了过渡区域后的区域，即i1＝i-i0-d，i为整个图像。
15、进一步地，所述首帧图像处理的步骤具体为：
16、(1)基于实时流传输协议(rtsp协议)依次获取各个摄像机对应的视频首帧图像，根据所述计算图像缩放参数的步骤中获得的缩放参数对对应图像进行缩放，并将缩放后图像数据直接与修改后掩膜相乘得到待拼接图像；
17、(2)根据相邻图像间的融合长度lfusion依次计算每个图像在最终融合图像中的起始位置和最终融合图像的尺寸，存储待后续拼接调用；其中，相邻图像间的融合长度lfusion的计算公式为：
18、
19、其中，和分别表示所述最佳缝合线横坐标的最大值与最小值，d为待融合区域的长度；
20、(3)根据所述起始位置和最终融合图像的尺寸获取每个图像左右应添加的0矩阵，即黑边矩阵；
21、将修改后的掩膜模板以及黑边矩阵从cpu端上传至gpu端。
22、进一步地，所述实时视频融合步骤具体为：
23、基于实时流传输协议(rtsp协议)并行获取各个摄像机的视频流，并基于修改后掩膜模板对各个视频流进行逐帧缩放及掩膜处理，将获得的掩膜后视频帧图像上传至gpu端，以生成与摄像机对应的多个图像帧序列；
24、其中，每个图像帧序列中的第i张图像对应时间相同，i取值为1到n，n为图像帧序列中的图像总数；
25、对所有图像帧序列进行融合排序得到待融合图像序列集，待融合图像序列集中各图像帧序列顺序与摄像机实际安装顺序一致；
26、基于cuda加速依次对同一时刻下各序列图像添加边界并进行融合。
27、进一步地，图像融合采用基于加权渐入渐出融合算法对拼接缝进行优化；融合权重计算公式如下：
28、
29、其中，k为融合权重参数，取值范围为0到1，w为融合权重。
30、进一步地，每个图像帧序列中的第i张图像对应时间相同，i取值为1到n，n为图像帧序列中的图像总数；
31、在各个视频流抓取进程中设置初始化时间阈值，确保各摄像机的图像帧序列中的首帧图像时刻相同，将阈值前获取的图像剔除，不放入图像帧序列中。
32、本专利技术的有益技术效果：
33、现有视频融合技术需要对每一帧图像计算特征点并进行图像转换与依次融合，耗时较大，而本专利技术中使用掩膜代替上述过程，在进行融合时基于多线程将掩膜矩阵和图像矩阵相乘，直接获得待融合图像；通过计算各图像在最终融合图像的起始行列以及最终融合图像尺寸，使用0矩阵将各图像填充至最终图像大小，并基于多线程像素相加进行融合，相比于依次融合，大大减少了耗时，提高了算法的实时性。
本文档来自技高网...【技术保护点】
1.一种面向工业智能化的多路视频实时融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述一种面向工业智能化的多路视频实时融合方法，其特征在于，在所述设备安装步骤中，所有监控摄像机以相同姿态固定于立柱上，并确保目标产线中的设备在各监控画面中处于居中位置，所有监控摄像机焦距设置为最小；且相邻摄像机之间有至少1/3的重叠区域。
3.根据权利要求1所述一种面向工业智能化的多路视频实时融合方法，其特征在于，所述掩膜制作的步骤具体为：
4.根据权利要求3所述一种面向工业智能化的多路视频实时融合方法，其特征在于，所述首帧图像处理的步骤具体为：
5.根据权利要求4所述一种面向工业智能化的多路视频实时融合方法，其特征在于，所述实时视频融合步骤具体为：
6.根据权利要求5所述一种面向工业智能化的多路视频实时融合方法，其特征在于，图像融合采用基于加权渐入渐出融合算法对拼接缝进行优化；融合权重计算公式如下：
7.根据权利要求5所述一种面向工业智能化的多路视频实时融合方法，其特征在于，每个图像帧序列中的第i张图像对应时间相同，
...【技术特征摘要】
1.一种面向工业智能化的多路视频实时融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述一种面向工业智能化的多路视频实时融合方法，其特征在于，在所述设备安装步骤中，所有监控摄像机以相同姿态固定于立柱上，并确保目标产线中的设备在各监控画面中处于居中位置，所有监控摄像机焦距设置为最小；且相邻摄像机之间有至少1/3的重叠区域。
3.根据权利要求1所述一种面向工业智能化的多路视频实时融合方法，其特征在于，所述掩膜制作的步骤具体为：
4.根据权利要求3所述一种面向工业智能化的多路视...
【专利技术属性】
技术研发人员：王来部，李江漫，李佳佳，
申请(专利权)人：山东青博工业科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。