多通道超高分辨率全景视频实时拼接处理方法技术

本发明专利技术提供了一种多通道超高分辨率全景视频实时拼接处理方法，其中，该方法包括：将全景相机的输出图像在二维坐标系中的二维坐标转换为经纬度坐标系中的经纬度坐标；将所述经纬度坐标转换为归一化笛卡尔直角坐标；根据所述归一化笛卡尔直角坐标确定目标输入面；计算每个所述目标输入面的面内二维坐标；将所述面内二维坐标实时拼接成全景视频。采用本发明专利技术的技术方案，能够实现在较低的硬件成本下，实时、高效、无损地完成多通道高分辨率全景视频拼接。

【技术实现步骤摘要】
多通道超高分辨率全景视频实时拼接处理方法
本专利技术涉及图像处理
，尤其涉及一种高清视频数据处理方法，具体来说就是一种多通道超高分辨率全景视频实时拼接处理方法。
技术介绍
近年来，随着图像处理技术及数字视频技术的快速发展，虚拟现实(VR，VirtualReality)技术在游戏、教育、军事和医疗等领域，都有广泛的应用。如今人们对视觉体验的要求越来越苛刻，用户希望通过VR设备观看分辨率更高的全景视频，但往往受到硬件设备的限制，用户的要求无法得到满足。全景视频通常由多个摄像头组合而成，例如，市场上存在鱼眼全景摄像头，但是这种镜头获得的视频容易产生畸变，而且这种摄像头自身的视频分别率比较低。因此，为了获得高分辨率的大场景信息，克服普通摄像头视野小，分辨率低的缺点，采用多路摄像头实现全景视频采集是目前比较常见的一种做法，多路摄像头实现全景视频采集必然应用到视频图像拼接技术。多路摄像头实现全景视频采集技术中，多个摄像头能够同时获取两路或者三路的视频图像，且两个相邻的摄像机的视角重叠比例适当，再通过查找图像特征和特征值配准的方法计算出两幅图像之问的单应性矩阵，最后将各路图像缝合成广视角的图像。大部分相同型号的多个摄像头的性能是有微小差异的，在相同的环境下得到的图像色彩也会不同，而实际应用中受光线视角的影响，摄像机在同一时刻获得的图像是有明显视觉差的，从而导致最后得到的拼接图像的效果达不到用户的要求。因此本领域技术人员对视频预处理以及图像拼接算法的深入研究，有助于对采集的图像进行校正归一，以减少合成视频的差异性。因此，本领域技术人员亟需研发一种多通道超高分辨率全景视频实时拼接处理方法，在现有有限的硬件资源情况下，实时、高效、无损地完成4K等超高分辨率全景视频的实时拼接。
技术实现思路
有鉴于此，本专利技术要解决的技术问题在于提供一种多通道超高分辨率全景视频实时拼接处理方法，解决了现有技术中不能实时、高效、无损地完成多通道高分辨率全景视频拼接的问题。为了解决上述技术问题，本专利技术的具体实施方式提供一种通道超高分辨率全景视频实时拼接处理方法，包括：将全景相机的输出图像在二维坐标系中的二维坐标转换为经纬度坐标系中的经纬度坐标；将所述经纬度坐标转换为归一化笛卡尔直角坐标；根据所述归一化笛卡尔直角坐标确定目标输入面；计算每个所述目标输入面的面内二维坐标；将所述面内二维坐标实时拼接成全景视频。根据本专利技术的上述具体实施方式可知，通道超高分辨率全景视频实时拼接处理方法至少具有以下有益效果：将输出的二维坐标图像归一化为经纬度坐标图像，再转换至归一化笛卡尔直角坐标图像；然后依次完成前、后、左、右四个输入面的面选与计算，以及顶、底两个输入面的面选；计算每个输入面的面内二维坐标；最后校准输入面内的面内二维坐标。本专利技术实现了实时、高效、无损地完成多通道高分辨率全景视频实时拼接，易于实现、设计成本较低，可以利用现有的FPGA(现场可编辑门阵列)或ASIC(专用集成电路)，充分利用现有的硬件设备，在有限处理资源的情况下完成拼接任务。应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本专利技术所欲主张的范围。附图说明下面的所附附图是本专利技术的说明书的一部分，其绘示了本专利技术的示例实施例，所附附图与说明书的描述一起用来说明本专利技术的原理。图1为本专利技术实施例的一种多通道超高分辨率全景视频实时拼接处理方法的实施例一的流程示意图；图2为本专利技术实施例的一种多通道超高分辨率全景视频实时拼接处理方法的实施例二的流程示意图；图3为本专利技术实施例的一种多通道超高分辨率全景视频实时拼接处理方法的实施例三的流程示意图；图4为本专利技术实施例的一种基于FPGA的多通道4320×2160全景视频实时拼接处理方法的信号处理示意图；图5为本专利技术实施例的一种基于FPGA的多通道4320×2160全景视频实时拼接处理方法的坐标系转换模块处理示意图；图6为本专利技术实施例的一种基于FPGA的多通道4320×2160全景视频实时拼接处理方法的六个输入面面选模块处理示意图；图7为本专利技术实施例的一种基于FPGA的多通道4320×2160全景视频实时拼接处理方法的面内二维坐标计算模块处理示意图；图8为本专利技术实施例的一种基于FPGA的多通道4320×2160全景视频实时拼接处理方法的误差校准模块处理示意图；图9A为本专利技术实施例的一种基于FPGA的多通道4320×2160全景视频实时拼接处理方法的拼接前的效果示意图；图9B为本专利技术实施例的一种基于FPGA的多通道4320×2160全景视频实时拼接处理方法的拼接后的效果示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本专利技术所揭示内容的精神，任何所属
技术人员在了解本
技术实现思路
的实施例后，当可由本
技术实现思路
所教示的技术，加以改变及修饰，其并不脱离本
技术实现思路
的精神与范围。本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本专利技术，其仅为了区别以相同技术用语描述的元件或操作。关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本创作。关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。关于本文中所使用的用语“大致”、“约”等，用以修饰任何可以微变化的数量或误差，但这些微变化或误差并不会改变其本质。一般而言，此类用语所修饰的微变化或误差的范围在部分实施例中可为20％，在部分实施例中可为10％，在部分实施例中可为5％或是其他数值。本领域技术人员应当了解，前述提及的数值可依实际需求而调整，并不以此为限。某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。图1为本专利技术实施例的一种多通道超高分辨率全景视频实时拼接处理方法的实施例一的流程示意图，如图1所示，将全景相机的输出图像在二维坐标系中的二维坐标转换为经纬度坐标系中的经纬度坐标后，再转换为归一化笛卡尔直角坐标(即归一化后的笛卡尔直角坐标)；依次完成前后左右上下输入面的面选，其中，面选具体指“获得输出像素值进行计算所需要采纳的输入图像的面索引”；最后计算输入面的面内二维坐标。该附图所示的具体实施方式中，多通道超高分辨率全景视频实时拼接处理方法包括：步骤101：将全景相机的输出图像在二维坐标系中的二维坐标转换为经纬度坐标系中的经纬度坐标。全景相机具有多个摄像头，每个摄像头采集一路视频；将输出图像在二维坐标系中的二维坐标转换为经纬度坐标系中的经纬度坐标之前，需要对输出图像的二维坐标进行归一化处理。本专利技术的具体实施例中，步骤101具体包括：将全景相机的输出图像在二维坐标系中的二维坐标归一化为标准二维坐标；将所述标准二维坐标转换为经纬度坐标系中的经纬度坐标。将全景相机的输出图像在二维坐标系中的二维坐标(X，Y)归一化为标准二维坐标所使用的归一本文档来自技高网...

【技术保护点】
一种多通道超高分辨率全景视频实时拼接处理方法，其特征在于，该方法包括：将全景相机的输出图像在二维坐标系中的二维坐标转换为经纬度坐标系中的经纬度坐标；将所述经纬度坐标转换为归一化笛卡尔直角坐标；根据所述归一化笛卡尔直角坐标确定目标输入面；计算每个所述目标输入面的面内二维坐标；以及将所述面内二维坐标实时拼接成全景视频。

【技术特征摘要】
1.一种多通道超高分辨率全景视频实时拼接处理方法，其特征在于，该方法包括：将全景相机的输出图像在二维坐标系中的二维坐标转换为经纬度坐标系中的经纬度坐标；将所述经纬度坐标转换为归一化笛卡尔直角坐标；根据所述归一化笛卡尔直角坐标确定目标输入面；计算每个所述目标输入面的面内二维坐标；以及将所述面内二维坐标实时拼接成全景视频。2.如权利要求1所述的多通道超高分辨率全景视频实时拼接处理方法，其特征在于，将全景相机的输出图像在二维坐标系中的二维坐标转换为经纬度坐标系中的经纬度坐标的步骤，具体包括：将全景相机的输出图像在二维坐标系中的二维坐标归一化为标准二维坐标；以及将所述标准二维坐标转换为经纬度坐标系中的经纬度坐标。3.如权利要求2所述的多通道超高分辨率全景视频实时拼接处理方法，其特征在于，将全景相机的输出图像在二维坐标系中的二维坐标归一化为标准二维坐标所使用的归一化方程为：其中，W为输出图像的宽度；H为输出图像的高度；(X，Y)为二维坐标；为标准二维坐标，将所述标准二维坐标转换为经纬度坐标系中的经纬度坐标所使用的转换方程为：其中，为经纬度坐标；为标准二维坐标。4.如权利要求1所述的多通道超高分辨率全景视频实时拼接处理方法，其特征在于，该方法还包括：利用二维坐标系中的二维坐标校准目标输入面上的所述面内二维坐标。5.如权利要求1所述的多通道超高分辨率全景视频实时拼接处理方法，其特征在于，计算每个所述目标输入面的面内二维坐标的步骤，具体包括：将所述归一化笛卡尔直角坐标映射到轴纵横坐标...

【专利技术属性】
技术研发人员：陈清，
申请(专利权)人：北京天拓灵域网络科技有限公司，
类型：发明
国别省市：北京,11