一种鱼眼全景图像合成处理方法及装置制造方法及图纸

本发明专利技术实施例公开了一种鱼眼全景图像合成处理方法及装置，方法包括：获取棋盘格标靶的第一测试鱼眼图像，并根据张正友标定算法进行处理，得到鱼眼相机的内部参数；获取环形标靶的第二测试鱼眼图像，根据最近点迭代算法得到鱼眼相机的外部参数；获取待合成鱼眼图像，根据内部参数和外部参数得到待合成鱼眼图像的像素坐标与鱼眼图非标准Thoby展开图像素坐标的对应关系；根据对应关系，处理待合成鱼眼图像，得到合成后全景图像。通过获取鱼眼相机的内部参数和外部参数，能够得到待合成鱼眼图像的像素坐标与全景图像素坐标的对应关系，便于根据对应关系处理得到合成后全景图像，原始图像拍摄简单、图像合成过程自动化程度高且能够进行图像实时合成。

【技术实现步骤摘要】

本专利技术实施例涉及计算机
，具体涉及一种鱼眼全景图像合成处理方法及装置。
技术介绍
鱼眼图像合成技术是近年发展起来的一种基于图像的全景图合成处理技术，这种技术的特点是它的处理和场景的复杂度无关，并且能够达到照片级的真实感。使用这种技术，用户首先通过鱼眼相机拍摄到某一场景的一组待合成鱼眼图像，然后对待合成鱼眼图像进行合成处理得到最终的全景图像。目前全景图像的处理方法较多，比如柱形全景的处理，用户在同一位置不同角度拍摄多张水平方向有大量重叠的图像，通过合成软件合成全景图像，其拍摄过程复杂，合成难度高，效果差。也有的全景图像处理是基于两张可视范围为183度的鱼眼图像，合成时通过人为的反复设定合成界线和各种图像合成参数，其自动化程度不高，合成效率低下，且由于人为因素的过多参与，生成全景图像质量没有保证。其它的合成处理工具通过在不同的图像上景物重叠部分选取控制点，但一般都极难使用。在实现本专利技术实施例的过程中，专利技术人发现现有的鱼眼全景图像合成处理方法存在着原始图像拍摄复杂、图像合成过程自动化程度低、耗时长等缺点。
技术实现思路
由于现有的鱼眼全景图像合成处理方法存在着原始图像拍摄复杂、图像合成过程自动化程度低、耗时长等缺点的问题，本专利技术实施例提出一种鱼眼全景图像合成处理方法及装置。第一方面，本专利技术实施例提出一种鱼眼全景图像合成处理方法，包括：获取棋盘格标靶的若干张第一测试鱼眼图像，并根据张正友标定算法对所述若干张第一测试鱼眼图像进行处理，得到拍摄所述若干张第一测试鱼眼图像的鱼眼相机的内部参数；获取环形标靶的若干张第二测试鱼眼图像，提取标靶角点，包括棋盘格角点和圆斑点，根据最近点迭代算法对所述若干张第二测试鱼眼图像进行处理，得到所述鱼眼相机的外部参数；获取若干张待合成鱼眼图像，根据所述内部参数和所述外部参数得到所述若干张待合成鱼眼图像的像素坐标与等距投影全景图展开像素坐标的对应关系；根据所述对应关系，处理所述若干张待合成鱼眼图像，得到鱼眼展开图像。优选地，所述根据所述对应关系，处理所述若干张待合成鱼眼图像，得到合成后全景图像，进一步包括：根据所述对应关系，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像。优选地，所述根据所述对应关系，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像，进一步包括：获取目标图像区域大小，并根据所述对应关系和所述目标图像区域大小，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像。优选地，所述获取目标图像区域大小进一步包括：根据预设的初始图像区域面积，计算得到所述初始图像区域面积对应的初始图像占用空间；若判断获知所述初始图像占用空间小于所述FPGA的片上随机存取存储器的空间，则所述目标图像区域大小为所述初始图像区域面积，否则按照预设规则降低所述初始图像区域面积。优选地，所述内部参数包括主点坐标、畸变系数、入射光线随入射角度的增加以及对应像点与主点的距离关系。第二方面，本专利技术实施例还提出一种鱼眼全景图像合成处理装置，包括：内部参数获取模块，用于获取棋盘格标靶的若干张第一测试鱼眼图像，并根据张正友标定算法对所述若干张第一测试鱼眼图像进行处理，得到鱼眼相机的内部参数；外部参数获取模块，用于获取环形标靶的若干张第二测试鱼眼图像，根据最近点迭代算法对所述若干张第二测试鱼眼图像进行处理，得到所述鱼眼相机的外部参数；对应关系获取模块，用于获取若干张待合成鱼眼图像，根据所述内部参数和所述外部参数得到所述若干张待合成鱼眼图像的像素坐标与鱼眼图非标准Thoby展开图像素坐标的对应关系；鱼眼图像合成模块，用于根据所述对应关系，处理所述若干张待合成鱼眼图像，得到合成后全景图像。优选地，所述鱼眼图像合成模块进一步用于根据所述对应关系，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像。优选地，所述鱼眼图像合成模块进一步用于获取目标图像区域大小，并根据所述对应关系和所述目标图像区域大小，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像。优选地，所述鱼眼图像合成模块中获取目标图像区域大小进一步包括：根据预设的初始图像区域面积，计算得到所述初始图像区域面积对应的初始图像占用空间；若判断获知所述初始图像占用空间小于所述FPGA的片上随机存取存储器的空间，则所述目标图像区域大小为所述初始图像区域面积，否则按照预设规则降低所述初始图像区域面积。优选地，所述内部参数包括主点坐标、畸变系数、入射光线随入射角度的增加以及对应像点与主点的距离关系。由上述技术方案可知，本专利技术实施例通过获取鱼眼相机的内部参数和外部参数，能够得到待合成鱼眼图像的像素坐标与鱼眼图非标准Thoby展开图像素坐标的对应关系，便于根据对应关系处理得到合成后全景图像，原始图像拍摄简单、图像合成过程自动化程度高且图像合成速度较快。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。图1为本专利技术一实施例提供的一种鱼眼全景图像合成处理方法的流程示意图；图2为本专利技术一实施例提供的基本硬件架构的示意图；图3为本专利技术一实施例提供的内参标定拍摄点集标靶示例图；图4为本专利技术一实施例提供的外参标定环形标靶示例图；图5为本专利技术一实施例提供的采用最近点迭代法进行点集配的结果；图6为本专利技术一实施例提供的鱼眼相机拍摄的原图与展开图示意；图7为本专利技术一实施例提供的映射表的生成流程示意图；图8为本专利技术一实施例提供的的全景图像示意图；图9为本专利技术一实施例提供的一种鱼眼全景图像合成处理装置的结构示意图。具体实施方式下面结合附图，对专利技术的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。图1示出了本实施例提供的一种鱼眼全景图像合成处理方法的流程示意图，包括：S101、获取棋盘格标靶的若干张第一测试鱼眼图像，并根据张正友标定算法对所述若干张第一测试鱼眼图像进行处理，得到拍摄所述若干张第一测试鱼眼图像的鱼眼相机的内部参数；其中，在获取环形标靶的若干张第二测试鱼眼图像进行外参标定之前，首先标定鱼眼相机的内参，可以为自制的棋盘格标靶。外参标靶类型包括两类，一类为正方形的棋盘格，另一类为随机分布的圆斑。具体地，本实施例的鱼眼相机和计算机系统对应的硬件体系结构如图2所示，其中，主要的处理模块包括：I2C模块，实现对图像传感器工作时的帧频，输出数据模式，图像窗口等进行设置。Fish2Sphere模块，利用标定的鱼眼相机内部参数和相机外部参数，对采集到的圆形扭曲图像展开为等距投影模式的全景图像。此模块的实现包含三个主要的过程，分别为基于棋盘格的鱼眼相机内参标定，采用最近点迭代(ICP)方法进行点集配准获取相机的外参，和基于以上两步骤的结果进行FPGA工作参数提取。ISP功能模块，线性/非线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，并对图像数据进行视频编码以便于进行存储和传输。结合ISP处理和增强，能在不同的光学条件下较好地还原现场细节，ISP功能在很大程度提升了本本文档来自技高网...

【技术保护点】
一种鱼眼全景图像合成处理方法，其特征在于，包括：获取棋盘格标靶的若干张第一测试鱼眼图像，并根据张正友标定算法对所述若干张第一测试鱼眼图像进行处理，得到鱼眼相机的内部参数；获取环形标靶的若干张第二测试鱼眼图像，根据最近点迭代算法对所述若干张第二测试鱼眼图像进行处理，得到所述鱼眼相机的外部参数；获取若干张待合成鱼眼图像，根据所述内部参数和所述外部参数得到所述若干张待合成鱼眼图像的像素坐标与鱼眼图非标准Thoby展开图像素坐标的对应关系；根据所述对应关系，处理所述若干张待合成鱼眼图像，得到合成后全景图像。

【技术特征摘要】
1.一种鱼眼全景图像合成处理方法，其特征在于，包括：获取棋盘格标靶的若干张第一测试鱼眼图像，并根据张正友标定算法对所述若干张第一测试鱼眼图像进行处理，得到鱼眼相机的内部参数；获取环形标靶的若干张第二测试鱼眼图像，根据最近点迭代算法对所述若干张第二测试鱼眼图像进行处理，得到所述鱼眼相机的外部参数；获取若干张待合成鱼眼图像，根据所述内部参数和所述外部参数得到所述若干张待合成鱼眼图像的像素坐标与鱼眼图非标准Thoby展开图像素坐标的对应关系；根据所述对应关系，处理所述若干张待合成鱼眼图像，得到合成后全景图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述对应关系，处理所述若干张待合成鱼眼图像，得到合成后全景图像，进一步包括：根据所述对应关系，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像。3.根据权利要求2所述的方法，其特征在于，所述根据所述对应关系，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像，进一步包括：获取目标图像区域大小，并根据所述对应关系和所述目标图像区域大小，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像。4.根据权利要求3所述的方法，其特征在于，所述获取目标图像区域大小进一步包括：根据预设的初始图像区域面积，计算得到所述初始图像区域面积对应的初始图像占用空间；若判断获知所述初始图像占用空间小于所述FPGA的片上随机存取存储器的空间，则所述目标图像区域大小为所述初始图像区域面积，否则按照预设规则降低所述初始图像区域面积。5.根据权利要求1所述的方法，其特征在于，所述内部参数包括主点坐标、畸变系数、入射光线随入射角度的增加以及对应像点与主点的距离...

【专利技术属性】
技术研发人员：户磊，杨再启，卢钰，杨兔艳，金波良，曾昭辉，庄再濠，
申请(专利权)人：北京的卢深视科技有限公司，
类型：发明
国别省市：北京;11