【技术实现步骤摘要】
本专利技术涉及的是一种图像处理领域的技术，具体是一种双鱼眼图像拼接而成的全景图像的质量评估系统及方法。
技术介绍
1、全景图像或视频通常是通过拼接多个图像或视频生成的。获取全景图像的最常见方式是通过拼接两个鱼眼图像，每鱼眼图像可以提供180°的视野范围，对两个鱼眼图像进行拼接，就可以得到360°的全景图像，对鱼眼图像拼接而成的全景图像的质量评价对业界有着指导意义。
技术实现思路
1、本专利技术针对现有全景图像拼接技术中，在拼接的边缘部分都有不同程度的形变与失真的缺陷以及难以拟合多种复杂的应用场景的不足，提出一种双鱼眼图像拼接而成的全景图像的质量评估系统及方法。
2、本专利技术是通过以下技术方案实现的：
3、本专利技术涉及一种双鱼眼图像拼接而成的全景图像的质量评估方法，在离线训练阶段，通过将全景图像透视变换为平面图像，经增广处理得到多组增广图像后，用于对包含卷积神经网络的专注式多通道网络进行训练，在在线阶段通过训练后的专注式多通道网络实时输出质量预测分数。
4、本专利技术涉及一种双鱼眼图像拼接而成的全景图像的质量评估系统，包括：投影模块、数据细化和增强模块、专注式多通道网络和空间正则化单元，其中：投影模块根据全景图像的三维点信息，使用透视变换将其正向投影到平面上生成平面图像；数据细化和增强模块根据经度纬度信息，对90°和270°的视角进行间隔增广处理，得到多组增广图像；专注式多通道网络采用基于resnet34改进的卷积神经网络从增广图像中提取出得到
5、所述的接缝，即90°和270°的视角对应的图像位置。
6、所述的投影模块包括：内部矩阵单元、正向投影单元以及反向投影单元，其中：内部矩阵单元根据以像素表示的焦距信息建立用于投影的内部矩阵；正向投影单元根据待投影位置坐标和内部矩阵进行坐标变换，得到正向投影公式；反向投影单元根据正向投影公式，进行相反的反向投影运算处理，得到反向投影后的球坐标，并由此确定需要投影的原始球坐标点得到了球上需要投影的点的集合并重复正向投影进行投影，得到平面图像。
7、所述的数据细化和增强模块包括：经度旋转单元和纬度旋转单元，其中：经度旋转单元将初始的全景图像沿着经度分多次旋转90°，每次间隔固定，得到多张左、右增广图像；纬度旋转单元将初始的全景图像沿着纬度从-15°到15°，每次间隔固定，得到多张上、下增广图像。
8、所述的专注式多通道网络包括：注意力多通道网络单元、特征融合单元以及质量预测单元，其中：注意力多通道网络单元根据左、右、上、下增广图像进行分层次的卷积处理，并且在得到卷积后的特征向量之后，进一步地进行空间注意力操作，最终得到对应该视角图像的特征向量；特征融合单元对根据四个视角的特征向量进行拼接处理，得到融合后的总特征向量；质量预测单元将总特征向量卷积、池化、全连接处理后通过回归生成质量预测分数。
9、所述的空间正则化单元包括：空间回归单元以及空间正则损失计算单元，其中：空间回归单元根据专注式多通道网络的注意力多通道网络单元输出的多视角的四视角特征向量，进行空间多信道加权处理，得到包含固定位置的拼缝和空间融合特征的空间融合特征；正则损失计算单元根据固定位置的拼缝和空间融合特征计算kl散度信息熵并得到正则化损失，并将正则化损失和专注式多通道网络中的质量预测分数和标签分数加权得到质量预测损失函数，进而通过此损失函数指导训练过程，特别地，本模块仅在训练过程中起到作用。
10、技术效果
11、本专利技术通过在拼缝位置进行数据增强的数据增强与细化模块和空间正则化单元对分数的修正，实现了拼缝位置的数据增强，并且在空间正则化单元模块中对拼缝进行了处理，空间正则化单元也考虑了比较复杂的多视角融合，与现有技术相比，本专利技术的数据增强和空间正则化操作极大地提升了效果。
本文档来自技高网...【技术保护点】
1.一种双鱼眼图像拼接而成的全景图像的质量评估方法，其特征在于，在离线训练阶段，通过将全景图像透视变换为平面图像，经增广处理得到多组增广图像后，用于对包含卷积神经网络的专注式多通道网络进行训练，在在线阶段通过训练后的专注式多通道网络实时输出质量预测分数。
2.一种实现权利要求1所述方法的双鱼眼图像拼接而成的全景图像的质量评估系统，其特征在于，包括：投影模块、数据细化和增强模块、专注式多通道网络和空间正则化单元，其中：投影模块根据全景图像的三维点信息，使用透视变换将其正向投影到平面上生成平面图像；数据细化和增强模块根据经度纬度信息，对90°和270°的视角进行间隔增广处理，得到多组增广图像；专注式多通道网络采用基于Resnet34改进的卷积神经网络从增广图像中提取出得到图像总体质量特征向量并生成质量预测分数；空间正则化单元对多尺度质量特征和固定位置的接缝，进行平均池化和加权处理得到正则化损失，经与数据细化和增强模块输出的MSE损失加权求和得到质量预测损失函数，实现对专注式多通道网络的训练，进而在在线阶段实时输出质量预测分数；
3.根据权利要求2所述的质量评估
4.根据权利要求2所述的质量评估系统，其特征是，所述的数据细化和增强模块包括：经度旋转单元和纬度旋转单元，其中：经度旋转单元将初始的全景图像沿着经度分多次旋转90°，每次间隔固定，得到多张左、右增广图像；纬度旋转单元将初始的全景图像沿着纬度从-15°到15°，每次间隔固定，得到多张上、下增广图像。
5.根据权利要求2所述的质量评估系统，其特征是，所述的专注式多通道网络包括：注意力多通道网络单元、特征融合单元以及质量预测单元，其中：注意力多通道网络单元根据左、右、上、下增广图像进行分层次的卷积处理，并且在得到卷积后的特征向量之后，进一步地进行空间注意力操作，最终得到对应该视角图像的特征向量；特征融合单元对根据四个视角的特征向量进行拼接处理，得到融合后的总特征向量；质量预测单元将总特征向量卷积、池化、全连接处理后通过回归生成质量预测分数。
6.根据权利要求2所述的质量评估系统，其特征是，所述的空间正则化单元包括：空间回归单元以及空间正则损失计算单元，其中：空间回归单元根据专注式多通道网络的注意力多通道网络单元输出的多视角的四视角特征向量，进行空间多信道加权处理，得到包含固定位置的拼缝和空间融合特征的空间融合特征；正则损失计算单元根据固定位置的拼缝和空间融合特征计算KL散度信息熵并得到正则化损失，并将正则化损失和专注式多通道网络中的质量预测分数和标签分数加权得到质量预测损失函数，进而通过此损失函数指导训练过程。
...【技术特征摘要】
1.一种双鱼眼图像拼接而成的全景图像的质量评估方法，其特征在于，在离线训练阶段，通过将全景图像透视变换为平面图像，经增广处理得到多组增广图像后，用于对包含卷积神经网络的专注式多通道网络进行训练，在在线阶段通过训练后的专注式多通道网络实时输出质量预测分数。
2.一种实现权利要求1所述方法的双鱼眼图像拼接而成的全景图像的质量评估系统，其特征在于，包括：投影模块、数据细化和增强模块、专注式多通道网络和空间正则化单元，其中：投影模块根据全景图像的三维点信息，使用透视变换将其正向投影到平面上生成平面图像；数据细化和增强模块根据经度纬度信息，对90°和270°的视角进行间隔增广处理，得到多组增广图像；专注式多通道网络采用基于resnet34改进的卷积神经网络从增广图像中提取出得到图像总体质量特征向量并生成质量预测分数；空间正则化单元对多尺度质量特征和固定位置的接缝，进行平均池化和加权处理得到正则化损失，经与数据细化和增强模块输出的mse损失加权求和得到质量预测损失函数，实现对专注式多通道网络的训练，进而在在线阶段实时输出质量预测分数；
3.根据权利要求2所述的质量评估系统，其特征是，所述的投影模块包括：内部矩阵单元、正向投影单元以及反向投影单元，其中：内部矩阵单元根据以像素表示的焦距信息建立用于投影的内部矩阵；正向投影单元根据待投影位置坐标和内部矩阵进行坐标变换，得到正向投影公式；反向投影单元根据正向投影公式，进行相反的反向投影运算处理，得到反向投影后的球坐标，并由此确定需要投影的原始球坐标点得...
【专利技术属性】
技术研发人员：王涛，吴娟，王哲悦，李文辉，
申请(专利权)人：苏州全波通信技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。