一种全景图像合成方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种全景图像合成方法、装置及电子设备，其中，全景图像合成方法包括：获取双鱼眼设备的两个鱼眼摄像头分别采集的鱼眼图像；基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像；从各鱼眼展开图像中提取重叠区域图像，并判断各鱼眼展开图像中相应的重叠区域图像是否一致；若不一致，则根据预设展开参数调整策略，调整预设展开参数，并基于调整后的展开参数得到新的鱼眼展开图像，再进行重叠区域图像是否一致的判断，直至一致时，将各鱼眼展开图像进行拼接，合成全景图像。通过本方案，可以提高全景图像的成像效果。

A panoramic image synthesis method, device and electronic equipment

【技术实现步骤摘要】
一种全景图像合成方法、装置及电子设备
本专利技术涉及图像处理
，特别是涉及一种全景图像合成方法、装置及电子设备。
技术介绍
鱼眼摄像头是模拟鱼类仰视水面效果的一种超广角摄像头，鱼眼摄像头的视场角大于或等于180度。鱼眼摄像头具有视场角大、可容纳场景多、可适应狭小空间拍摄等优点，因此，在虚实景技术、机器人导航、视觉监控、智能辅助驾驶等领域中被广泛应用。由于鱼眼摄像头的视场角大于或等于180度，多将两个鱼眼摄像头背靠背设置，组成一个双鱼眼设备，这样，通过将两个鱼眼摄像头分别拍摄的鱼眼图像进行拼接，即可得到360度的全景图像。相应的全景图像合成方法中，分别将各鱼眼图像沿圆心展开，得到两个展开图，对两个展开图进行特征提取，基于提取的特征点进行图像匹配，根据匹配结果将两个展开图的边缘区域进行融合，通过对两个展开图的融合、拼接，合成全景图像。但是，由于两个鱼眼摄像头的参数不完全一致，导致两个展开图的边缘区域存在不同变形，进而使得合成的全景图像与实际存在偏差、成像效果差。
技术实现思路
本专利技术实施例的目的在于提供一种全景图像合成方法、装置及电子设备，以避免出现各鱼眼展开图像的边缘区域存在不同变形的现象，减少合成的全景图像与实际的偏差，提高全景图像的成像效果。具体技术方案如下：第一方面，本专利技术实施例提供了一种全景图像合成方法，所述方法包括：获取双鱼眼设备的两个鱼眼摄像头分别采集的鱼眼图像；基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像；从各鱼眼展开图像中提取重叠区域图像，并判断各鱼眼展开图像中相应的重叠区域图像是否一致；若不一致，则根据预设展开参数调整策略，调整所述预设展开参数，并返回执行所述基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像，直至一致时，将各鱼眼展开图像进行拼接，合成全景图像。可选的，所述预设展开参数，包括：鱼眼图像的中心坐标参数及视场角参数；所述基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像，包括：获取目标鱼眼展开图像上第一像素点的坐标、所述目标鱼眼展开图像的预设宽度及预设高度，所述第一像素点为所述目标鱼眼展开图像上的任一像素点；根据所述第一像素点的坐标、所述预设宽度及所述预设高度，通过预设转换关系，计算得到所述第一像素点的极坐标；根据所述第一像素点的极坐标，通过第一预设映射关系，计算得到将所述第一像素点映射至预设单位球面上的第二像素点的坐标；针对各鱼眼图像，获取该鱼眼图像中有效区域的直径、该鱼眼图像的中心坐标参数及视场角参数；根据所述第二像素点的坐标、所述直径、所述中心坐标参数及所述视场角参数，通过第二预设映射关系，计算得到该鱼眼图像上与所述第一像素点具有映射关系的第三像素点的坐标；根据计算得到的目标鱼眼展开图像上各像素点与该鱼眼图像上各像素点的映射关系，将映射得到的目标鱼眼展开图像作为该鱼眼图像的鱼眼展开图像。可选的，所述预设转换关系，为：其中，所述(x,y)为目标鱼眼展开图像上第一像素点的坐标，所述width为所述目标鱼眼展开图像的预设宽度，所述height为所述目标鱼眼展开图像的预设高度，所述为所述第一像素点的极坐标；所述第一预设映射关系，为：其中，所述(X,Y,Z)为将所述第一像素点映射至预设单位球面上的第二像素点的坐标；所述第二预设映射关系，为：θnew＝atan2(Z,X)u＝center_x+r*cos(θnew)v＝center_y+r*sin(θnew)其中，所述θnew为第一连线与所述预设单位球面所处坐标轴中横轴的夹角，所述第一连线为所述第二像素点与所述预设单位球面的球心的连线，所述为所述第一连线与所述预设单位球面所处坐标轴中纵轴的夹角，所述r为所述第二像素点至所述球心的距离，所述Lfisheye为鱼眼图像中有效区域的直径，所述FOV为鱼眼图像的视场角参数，所述(u,v)为鱼眼图像上与所述第一像素点具有映射关系的第三像素点的坐标，所述(center_x,center_y)为鱼眼图像的中心坐标参数。可选的，所述预设展开参数包括：鱼眼图像的视场角参数；所述根据预设展开参数调整策略，调整所述预设展开参数，包括：检测各鱼眼展开图像中的线条方向；根据线条方向与视场角参数的预设对应关系，调整各鱼眼图像的视场角参数。可选的，所述预设展开参数包括：鱼眼图像的中心坐标参数；所述根据预设展开参数调整策略，调整所述预设展开参数，包括：检测各鱼眼展开图像的重叠区域图像变形趋势；根据图像变形趋势与中心坐标参数的预设对应关系，调整各鱼眼图像的中心坐标参数。可选的，所述预设展开参数包括：鱼眼图像的旋转角度参数；所述根据预设展开参数调整策略，调整所述预设展开参数，包括：检测各鱼眼展开图像的重叠区域图像变形趋势；根据图像变形趋势与图像旋转角度参数的预设对应关系，增加各鱼眼图像的旋转角度参数。可选的，所述将各鱼眼展开图像进行拼接，合成全景图像，包括：按照预设裁剪策略，对各鱼眼展开图像进行裁剪，得到各裁剪图像；将第一裁剪图像平分为左半侧图像及右半侧图像，所述第一裁剪图像为任一裁剪图像；将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，并将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，通过预设拼接策略，合成全景图像，所述第二裁剪图像为除所述第一裁剪图像以外的另一裁剪图像。可选的，所述将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，并将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，通过预设拼接策略，合成全景图像，包括：基于第一预设权重，将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，得到第一重叠区域图像；基于第二预设权重，将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，得到第二重叠区域图像；通过对所述左半侧图像的右边缘区域图像、所述第一重叠区域图像、所述第二裁剪图像的中间区域图像、所述第二重叠区域图像及所述右半侧图像的左边缘区域图像进行拼接，合成全景图像。可选的，在所述将各鱼眼展开图像进行拼接，合成全景图像之后，所述方法还包括：根据预设投影策略，将所述全景图像投影至三维立体表面，得到三维全景图像。第二方面，本专利技术实施例提供了一种全景图像合成装置，所述装置包括：获取模块，用于获取双鱼眼设备的两个鱼眼摄像头分别采集的鱼眼图像；展开模块，用于基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像；判断模块，用于从各鱼眼展开图像中提取重叠区域图像，并判断各鱼眼展开图像中相应的重叠区域图像是否一致；调整模块，用于若所述判断模块的判断结果为不一致，则根据预设展开参数调整策略，调整所述预设展开参数，并执行所述基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像，直至一致时，将各鱼眼展本文档来自技高网...

【技术保护点】
1.一种全景图像合成方法，其特征在于，所述方法包括：获取双鱼眼设备的两个鱼眼摄像头分别采集的鱼眼图像；基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像；从各鱼眼展开图像中提取重叠区域图像，并判断各鱼眼展开图像中相应的重叠区域图像是否一致；若不一致，则根据预设展开参数调整策略，调整所述预设展开参数，并返回执行所述基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像，直至一致时，将各鱼眼展开图像进行拼接，合成全景图像。

【技术特征摘要】
1.一种全景图像合成方法，其特征在于，所述方法包括：获取双鱼眼设备的两个鱼眼摄像头分别采集的鱼眼图像；基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像；从各鱼眼展开图像中提取重叠区域图像，并判断各鱼眼展开图像中相应的重叠区域图像是否一致；若不一致，则根据预设展开参数调整策略，调整所述预设展开参数，并返回执行所述基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像，直至一致时，将各鱼眼展开图像进行拼接，合成全景图像。2.根据权利要求1所述的方法，其特征在于，所述预设展开参数，包括：鱼眼图像的中心坐标参数及视场角参数；所述基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像，包括：获取目标鱼眼展开图像上第一像素点的坐标、所述目标鱼眼展开图像的预设宽度及预设高度，所述第一像素点为所述目标鱼眼展开图像上的任一像素点；根据所述第一像素点的坐标、所述预设宽度及所述预设高度，通过预设转换关系，计算得到所述第一像素点的极坐标；根据所述第一像素点的极坐标，通过第一预设映射关系，计算得到将所述第一像素点映射至预设单位球面上的第二像素点的坐标；针对各鱼眼图像，获取该鱼眼图像中有效区域的直径、该鱼眼图像的中心坐标参数及视场角参数；根据所述第二像素点的坐标、所述直径、所述中心坐标参数及所述视场角参数，通过第二预设映射关系，计算得到该鱼眼图像上与所述第一像素点具有映射关系的第三像素点的坐标；根据计算得到的目标鱼眼展开图像上各像素点与该鱼眼图像上各像素点的映射关系，将映射得到的目标鱼眼展开图像作为该鱼眼图像的鱼眼展开图像。3.根据权利要求2所述的方法，其特征在于，所述预设转换关系，为：其中，所述(x,y)为目标鱼眼展开图像上第一像素点的坐标，所述width为所述目标鱼眼展开图像的预设宽度，所述height为所述目标鱼眼展开图像的预设高度，所述为所述第一像素点的极坐标；所述第一预设映射关系，为：其中，所述(X,Y,Z)为将所述第一像素点映射至预设单位球面上的第二像素点的坐标；所述第二预设映射关系，为：θnew＝atan2(Z,X)u＝center_x+r*cos(θnew)v＝center_y+r*sin(θnew)其中，所述θnew为第一连线与所述预设单位球面所处坐标轴中横轴的夹角，所述第一连线为所述第二像素点与所述预设单位球面的球心的连线，所述为所述第一连线与所述预设单位球面所处坐标轴中纵轴的夹角，所述r为所述第二像素点至所述球心的距离，所述Lfisheye为鱼眼图像中有效区域的直径，所述FOV为鱼眼图像的视场角参数，所述(u,v)为鱼眼图像上与所述第一像素点具有映射关系的第三像素点的坐标，所述(center_x,center_y)为鱼眼图像的中心坐标参数。4.根据权利要求1所述的方法，其特征在于，所述预设展开参数包括：鱼眼图像的视场角参数；所述根据预设展开参数调整策略，调整所述预设展开参数，包括：检测各鱼眼展开图像中的线条方向；根据线条方向与视场角参数的预设对应关系，调整各鱼眼图像的视场角参数。5.根据权利要求1所述的方法，其特征在于，所述预设展开参数包括：鱼眼图像的中心坐标参数；所述根据预设展开参数调整策略，调整所述预设展开参数，包括：检测各鱼眼展开图像的重叠区域图像变形趋势；根据图像变形趋势与中心坐标参数的预设对应关系，调整各鱼眼图像的中心坐标参数。6.根据权利要求1所述的方法，其特征在于，所述预设展开参数包括：鱼眼图像的旋转角度参数；所述根据预设展开参数调整策略，调整所述预设展开参数，包括：检测各鱼眼展开图像的重叠区域图像变形趋势；根据图像变形趋势与图像旋转角度参数的预设对应关系，增加各鱼眼图像的旋转角度参数。7.根据权利要求1所述的方法，其特征在于，所述将各鱼眼展开图像进行拼接，合成全景图像，包括：按照预设裁剪策略，对各鱼眼展开图像进行裁剪，得到各裁剪图像；将第一裁剪图像平分为左半侧图像及右半侧图像，所述第一裁剪图像为任一裁剪图像；将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，并将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，通过预设拼接策略，合成全景图像，所述第二裁剪图像为除所述第一裁剪图像以外的另一裁剪图像。8.根据权利要求7所述的方法，其特征在于，所述将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，并将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，通过预设拼接策略，合成全景图像，包括：基于第一预设权重，将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，得到第一重叠区域图像；基于第二预设权重，将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，得到第二重叠区域图像；通过对所述左半侧图像的右边缘区域图像、所述第一重叠区域图像、所述第二裁剪图像的中间区域图像、所述第二重叠区域图像及所述右半侧图像的左边缘区域图像进行拼接，合成全景图像。9.根据权利要求1所述的方法，其特征在于，在所述将各鱼眼展开图像进行拼接，合成全景图像之后，所述方法还包括：根据预设投影策略，将所述全景图像投影至三维立体表面，得到三维全景...

【专利技术属性】
技术研发人员：冉盛辉，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33