【技术实现步骤摘要】
本专利技术属于图像处理领域，更具体的说涉及一种弱光增强与色温矫正的全景图像拼接系统及方法。
技术介绍
1、近年来，随着高新科技的发展，机器人技术取得了迅猛进步，不仅广泛应用于军队国防建设、医学治疗和产业开发等领域，还逐渐进入日常生活。移动机器人作为智能机器人中的重要成员，其最大的优势在于能够自由活动并具备相应的智能反应能力，常见的例子有工业agv、无人机、人形机器人和扫地机器人等。然而，在某些应用场景中，单相机的视野显然不够，而多个相机的视野又显得混乱，因此需要一种技术将多个相机的视野拼接成一个更加广阔的视野。
2、全景图像拼接技术可以获取周围环境的全景图像，突破单摄像机视角的限制，确保高分辨率和大视场同时得到满足。全景视觉广泛应用于多个领域，例如，私家车上的全景视觉系统可以监控周围环境，确保行驶安全；大型超市中的全景视频监控可以覆盖所有区域；在移动机器人上搭载全景视觉系统可以用于特殊环境如火灾后的侦查。这些应用通过全景视觉获取全面的环境信息，可用于三维重建、安防监控和环境探测等。
3、在某些特殊环境中，如火灾现场形成的狭小坍塌空间、电线井、电梯井等，光线昏暗、空间狭小常常导致图像质量较差，出现低亮度、色温不一致、低对比度及信息丢失等问题。各相机捕获的图像亮度不同、色温不同，不仅影响主观视觉体验，也限制了全景图像拼接的效果。针对这些特殊场景，如何利用图像处理技术提升图像在低光照条件下的可见性和颜色一致性，使拼接后的全景图像更加清晰和自然，成为一个急需解决的问题。
技术实现思路<
1、本专利技术提供了一种针对低光照条件下不同色温下的全景视频拼接方法，有由不同的功能模块分别解决了图像矫正、图像配准、图像投影和图像融合等问题。实验证明，这种方法在弱光色温不一致的情况下获得清晰和自然的全景图像，具有较强的通用性和扩展性。
2、为了实现上述目的，本专利技术是采用以下技术方案实现的：所述的拼接系统包括多线程控制模块，视频读取和图像矫正模块，参数初始化模块，图像投影模块，最佳缝合线寻找模块，图像融合模块，
3、全景图像展示模块；
4、多线程控制模块负责整体控制各模块的执行顺序；
5、视频读取和图像矫正模块负责读取四路相机图像，并进行图像矫正操作；
6、参数初始化模块读取处理好的图像，进行关键点检测和匹配，并计算各图像间的旋转矩阵和估计相机参数；
7、图像投影模块根据旋转矩阵和相机参数将各图像投影到柱面上；
8、最佳缝合线寻找模块计算各重叠区域的最佳缝合线；
9、图像融合模块根据最佳缝合线和多频段融合方法融合图像，得到全景图像，由全景图像展示模块展示。
10、在一个方案中，所述的多线程控制模块，加载各模块所需要的初始参数，加载所需要的开源计算机视觉库opencv的函数，建立线程池；
11、将需要不断重复操作的模块，如视频读取和图像矫正模块、图像投影模块、最佳缝合线寻找模块、图像融合模块以及全景图像展示模块加入到线程池中；
12、然后打开线程池中的所有线程，使所有模块并行运算；
13、所述的多线程控制模块还负责调节联系各模块，如将参数初始化模块计算的参数保存下来并提供给图像投影模块，当各相机都被程序保存一张时，控制模块通知图像投影模块开始工作。
14、在一个方案中，所述的视频读取：
15、首先对各输入的图像进行弱光图像增强，根据输入图像得到其对应的光照权重矩阵，旨在指导光照分量的自适应初始化，随后在结构光照的约束下，通过等价目标函数对初始光照分量执行优化平滑，并进一步对其执行非线性光照调整，最终结合retinex理论实现弱光图像的增强；
16、之后随机选择一张图像为参考图像，通过计算参考图像的平均色温，并将其应用到其他图像上，来确保所有图像的色温一致；
17、所述的图像矫正使用matlab的辅助工具箱cameracalibrator来进行相机内参标定和畸变参数计算工作；
18、首先通过opencv编写使用按键拍摄棋盘格标定板在不同角度下的图片的代码，拍摄20到30张；
19、然后将图片导入到matlab的cameracalibrator工具箱中，通过cameracalibrator工具箱计算相机的畸变参数和内参矩阵，将通过cameracalibrator工具箱计算出的相机内参矩阵和畸变参数传给opencv的remap()函数，得到图像去畸变的图片。
20、10、根据权利要求1所述的一种弱光增强与色温矫正的全景图像拼接系统，其特征在于：所述的参数初始化模块，计算各矫正后图像间的旋转矩阵以及估算出相机的焦距，为后续的图像投影模块提供参数；
21、首先检测各张图片的关键点，使用opencv的surf检测器，检测关键点位置以及分配特征描述符；
22、将被检测图像分为4部分，只检测最左边和最右边的四分之一区域的关键点；
23、得到关键点的位置和特征描述符后，得到各张图像的关键点后通过2nn即次近邻算法匹配图像间的关键点，得到粗配准的匹配点对集合；
24、通过ransac算法得到匹配点对集合的内点，根据这些内点通过最小二乘法求得单应矩阵，根据单应矩阵求得图像间的旋转矩阵，从而求得相机的外参。
25、在一个方案中，所述的图像投影模块，使用的图像投影模型如下：设p(x,y,z)是世界坐标系下的一点，则根据弧长公式点p在柱面上的投影点p(u,v)的横坐标为：纵坐标为：
26、在一个方案中，所述的最佳缝合线寻找模块，采用改进的基于动态规划的最佳缝合线算法；改进的如下：
27、基于动态规划的最佳缝合线算法中的能量函数的强度值差异改为从hsi颜色空间中获取，通过将重叠区域的物体边缘提取出来从而使接缝线可以一定程度上避开物体边缘，计算重叠区域像素点的ssim指标并加入到能量函数中，扩大动态规划寻找下一节点时的搜索范围。
28、在一个方案中，所述的图像融合模块使用多频段融合方法融合图像，得到更加自然的全景图像，之后将拼接好的全景图像存入到一个容器中。
29、在一个方案中，所述的全景图像展示模块单独开一个线程，不断读取存着全景图片的容器，每当读取到图片，就将图片通过opencv的imshow()函数展示出来，并将该图片从容器中擦除，防止内存溢出。
30、再一方面，一种弱光增强与色温矫正的全景图像拼接方法，所述的全景图像拼接方法适用于所述的全景图像拼接系统；
31、s1、运行视频读取和图像矫正模块，从四路相机读取原始图像，
32、对弱光和色温不一致图像进行弱光增强和色温矫正操作，根据通过matlab的cameracalibrator工具箱计算出的相机参数，对图像进行去畸变操作，将处理好后的四路图像保存到vector容器中，供其他模块使用；
33、s2、运行参数初始化模块，本文档来自技高网...
【技术保护点】
1.一种弱光增强与色温矫正的全景图像拼接系统，其特征在于：所述的拼接系统包括多线程控制模块，视频读取和图像矫正模块，参数初始化模块，图像投影模块，最佳缝合线寻找模块，图像融合模块，全景图像展示模块；
2.根据权利要求1所述的一种弱光增强与色温矫正的全景图像拼接系统，其特征在于：所述的多线程控制模块，加载各模块的初始参数，加载所开源计算机视觉库OpenCV的函数，建立线程池；
3.根据权利要求1所述的一种弱光增强与色温矫正的全景图像拼接系统，其特征在于：所述的视频读取，首先对各输入的图像进行弱光图像增强，根据输入图像得到其对应的光照权重矩阵，旨在指导光照分量的自适应初始化，随后在结构光照的约束下，通过等价目标函数对初始光照分量执行优化平滑，并进一步对其执行非线性光照调整，最终结合Retinex理论实现弱光图像的增强；
4.根据权利要求1所述的一种弱光增强与色温矫正的全景图像拼接系统，其特征在于：所述的参数初始化模块，计算各矫正后图像间的旋转矩阵以及估算出相机的焦距，为后续的图像投影模块提供参数；
5.根据权利要求1所述的一种弱光增强与
6.根据权利要求1所述的一种弱光增强与色温矫正的全景图像拼接系统，其特征在于：所述的最佳缝合线寻找模块，采用改进的基于动态规划的最佳缝合线算法；改进的如下：
7.根据权利要求1所述的一种弱光增强与色温矫正的全景图像拼接系统，其特征在于：所述的图像融合模块使用多频段融合方法融合图像，得到更加自然的全景图像，之后将拼接好的全景图像存入到一个容器中。
8.根据权利要求1所述的一种弱光增强与色温矫正的全景图像拼接系统，其特征在于：所述的全景图像展示模块单独开一个线程，不断读取存着全景图片的容器，每当读取到图片，就将图片通过OpenCV的imshow()函数展示出来，并将该图片从容器中擦除，防止内存溢出。
9.一种弱光增强与色温矫正的全景图像拼接方法，所述的全景图像拼接方法适用于如权利要求1-8中任意一项权利要求所述的全景图像拼接系统，其特征在于：
...【技术特征摘要】
1.一种弱光增强与色温矫正的全景图像拼接系统，其特征在于：所述的拼接系统包括多线程控制模块，视频读取和图像矫正模块，参数初始化模块，图像投影模块，最佳缝合线寻找模块，图像融合模块，全景图像展示模块；
2.根据权利要求1所述的一种弱光增强与色温矫正的全景图像拼接系统，其特征在于：所述的多线程控制模块，加载各模块的初始参数，加载所开源计算机视觉库opencv的函数，建立线程池；
3.根据权利要求1所述的一种弱光增强与色温矫正的全景图像拼接系统，其特征在于：所述的视频读取，首先对各输入的图像进行弱光图像增强，根据输入图像得到其对应的光照权重矩阵，旨在指导光照分量的自适应初始化，随后在结构光照的约束下，通过等价目标函数对初始光照分量执行优化平滑，并进一步对其执行非线性光照调整，最终结合retinex理论实现弱光图像的增强；
4.根据权利要求1所述的一种弱光增强与色温矫正的全景图像拼接系统，其特征在于：所述的参数初始化模块，计算各矫正后图像间的旋转矩阵以及估算出相机的焦距，为后续的图像投影模块提供参数；
5.根据权利要求1所述的一种弱光增强...
【专利技术属性】
技术研发人员：鄂大志，张明，刘丹阳，
申请(专利权)人：应急管理部沈阳消防研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。