一种利用空间三维信息辅助全景相机拼接的方法及终端技术

本发明专利技术公开了一种利用空间三维信息辅助全景相机拼接的方法及终端。所述方法包括：根据原始影像以及原始影像对应的场景的空间三维信息，得到空间三维点与原始影像像素的对应关系；根据所述空间三维点与原始影像像素的对应关系，得到投影球面上的球面投影点，并构建用于获取所述原始影像像素的颜色信息的目标模型；根据所述目标模型得到全景影像。从而有效地解决了现有技术中的全景影像拼接时出现断崖式错误的问题。断崖式错误的问题。断崖式错误的问题。

【技术实现步骤摘要】
一种利用空间三维信息辅助全景相机拼接的方法及终端


[0001]本专利技术涉及全景影像领域，尤其涉及的是一种利用空间三维信息辅助全景相机拼接的方法及终端。

技术介绍

[0002]全景相机是由多个分相机或者分镜头组成的能获得水平360度影像信息的相机系统，全景影像是通过将多个分相机获取的原始影像拼接为整体而得到的。然而各分相机的相机中心与整个全景相机的中心不重合，从而导致所有投影点与影像像素都不能真实对应，然而由于分相机中心和全景相机中心的偏离通常不大，导致每个分相机的投影区域没有明显的目视错误。但在拼接缝处，涉及两个分相机的中心偏离，导致拼接出现断崖式错误。
[0003]因此，现有技术还有待改进和发展。

技术实现思路

[0004]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种利用空间三维信息辅助全景相机拼接的方法及终端，旨在解决现有技术中的全景影像拼接出现断崖式错误的问题。
[0005]本专利技术解决问题所采用的技术方案如下：
[0006]第一方面，本专利技术实施例提供一种利用空间三维信息辅助全景相机拼接的方法，其特征在于，所述方法包括：
[0007]根据原始影像以及原始影像对应的场景的空间三维信息，得到空间三维点与原始影像像素的对应关系；
[0008]根据所述空间三维点与原始影像像素的对应关系，得到投影球面上的球面投影点，并构建用于获取所述原始影像像素的颜色信息的目标模型；
[0009]根据所述目标模型得到全景影像。
[0010]在一种实施方法中，所述根据分相机的空间三维信息，得到空间三维点与原始影像像素的对应关系包括：
[0011]获取原始影像以及原始影像对应的场景的空间三维信息，根据所述空间三维信息得到旋转矩阵和平移向量；
[0012]根据所述旋转矩阵和所述平移向量，建立所述空间三维点与原始影像像素的对应关系。
[0013]在一种实施方法中，所述根据所述旋转矩阵和所述平移向量，建立所述空间三维点与原始影像像素的对应关系包括：
[0014]根据所述旋转矩阵和所述平移向量，得到用于表示空间坐标系下的坐标与相机坐标系下的坐标的转换关系的第一转换式；
[0015]获取所述分相机的内参数，根据所述内参数，得到用于表示相机坐标系下的坐标
与像平面坐标系下的坐标的转换关系的第二转换式；
[0016]根据所述第一转换式与所述第二转换式，建立所述空间三维点与原始影像像素的对应关系。
[0017]在一种实施方法中，所述根据所述空间三维点与原始影像像素的对应关系，得到投影球面上的球面投影点并构建目标模型包括：
[0018]获取所述空间三维点的空间坐标；
[0019]根据所述空间三维点的空间坐标和所述空间三维点与原始影像像素的对应关系，得到标准投影点；
[0020]根据所述标准投影点得到球面投影点；
[0021]根据所述球面投影点构建目标模型。
[0022]在一种实施方法中，所述根据空间三维点的空间坐标和所述空间三维点与原始影像像素的对应关系，得到标准投影点包括：
[0023]根据所述空间三维点的空间坐标和所述空间三维点与原始影像像素的对应关系，得到所述空间三维点对应的像平面坐标点；
[0024]根据所述像平面坐标点得到所述原始影像像素的像素深度；
[0025]根据所述分相机的中心以及所述像素深度，得到标准投影点。
[0026]在一种实施方法中，所述根据所述标准投影点得到球面投影点包括：
[0027]以全景相机的中心为球心，得到投影球面；
[0028]将所述标准投影点投影至所述投影球面上，得到球面投影点。
[0029]在一种实施方法中，所述根据所述球面投影点构建目标模型包括：
[0030]获取所述球面投影点的经纬度数据以及所述标准投影点到所述球心的距离；
[0031]根据所述球面投影点的经纬度数据以及所述标准投影点到所述球心的距离构建目标模型。
[0032]在一种实施方法中，所述根据所述目标模型得到全景影像包括：
[0033]根据空间三维点与原始影像像素的对应关系以及所述目标模型，得到原始影像像素与球面投影点的对应关系；
[0034]获取原始影像像素的颜色信息，根据所述原始影像像素与球面投影点的对应关系，将所述颜色信息转换为所述原始影像像素对应的球面投影点的颜色信息；
[0035]根据影像分辨率对所有球面投影点的颜色信息进行插值计算得到影像颜色信息；
[0036]根据所述影像颜色信息生成全景影像。
[0037]第二方面，本专利技术实施例还提供一种终端，其特征在于，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以实现上述任一项所述的利用空间三维信息辅助全景相机拼接的方法的步骤。
[0038]第三方面，本专利技术实施例还提供一种存储介质，其上存储有多条指令，其特征在于，所述指令适用于由处理器加载并执行，以实现上述任一项所述的利用空间三维信息辅助全景相机拼接的方法的步骤。
[0039]本专利技术的有益效果：本专利技术实施例根据原始影像以及原始影像对应的场景的空间三维信息，得到空间三维点与原始影像像素的对应关系；根据所述空间三维点与原始影像像素的对应关系，得到投影球面上的球面投影点，并构建用于获取所述原始影像像素的颜
色信息的目标模型；根据所述目标模型得到全景影像。从而有效地解决了现有技术中的全景影像拼接时出现断崖式错误的问题。
附图说明
[0040]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]图1是本专利技术实施例提供的利用空间三维信息辅助全景相机拼接的方法的流程示意图。
[0042]图2是本专利技术实施例提供的建立空间三维点与原始影像像素的对应关系的流程示意图。
[0043]图3是本专利技术实施例提供的建立空间三维点与原始影像像素的对应关系的详细流程图。
[0044]图4是本专利技术实施例提供的构建目标模型的流程示意图。
[0045]图5是本专利技术实施例提供的获取标准投影点的流程示意图。
[0046]图6是本专利技术实施例提供的获取球面投影点的流程示意图。
[0047]图7是本专利技术实施例提供的构建目标模型的详细流程图。
[0048]图8是本专利技术实施例提供的生成全景影像的流程示意图。
[0049]图9是本专利技术实施例提供的全景影像拼接出现断崖式错误的原因的示意图。
[0050]图10是本专利技术实施例提供的利用传统拼接方法获取的天台的第一全景影像。
[0051]图11是本专利技术实施例提供的利用传统拼接方法获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用空间三维信息辅助全景相机拼接的方法，其特征在于，所述方法包括：根据原始影像以及原始影像对应的场景的空间三维信息，得到空间三维点与原始影像像素的对应关系；根据所述空间三维点与原始影像像素的对应关系，得到投影球面上的球面投影点，并构建用于获取所述原始影像像素的颜色信息的目标模型；根据所述目标模型得到全景影像。2.根据权利要求1所述的利用空间三维信息辅助全景相机拼接的方法，其特征在于，所述根据分相机的空间三维信息根据原始影像对应的场景的空间三维信息，得到空间三维点与原始影像像素的对应关系包括：获取原始影像以及原始影像对应的场景的空间三维信息，根据所述空间三维信息得到旋转矩阵和平移向量；根据所述旋转矩阵和所述平移向量，建立所述空间三维点与原始影像像素的对应关系。3.根据权利要求2所述的利用空间三维信息辅助全景相机拼接的方法，其特征在于，所述根据所述旋转矩阵和所述平移向量，建立所述空间三维点与原始影像像素的对应关系包括：根据所述旋转矩阵和所述平移向量，得到用于表示空间坐标系下的坐标与相机坐标系下的坐标的转换关系的第一转换式；获取所述分相机的内参数，根据所述内参数，得到用于表示相机坐标系下的坐标与像平面坐标系下的坐标的转换关系的第二转换式；根据所述第一转换式与所述第二转换式，建立所述空间三维点与原始影像像素的对应关系。4.根据权利要求1所述的利用空间三维信息辅助全景相机拼接的方法，其特征在于，所述根据所述空间三维点与原始影像像素的对应关系，得到投影球面上的球面投影点并构建目标模型包括：获取所述空间三维点的空间坐标；根据所述空间三维点的空间坐标和所述空间三维点与原始影像像素的对应关系，得到标准投影点；根据所述标准投影点得到球面投影点；根据所述球面投影点构建目标模型。5.根据权利要求4所述的利用空间三维信息辅助全景相机拼接的方法，其特征在于，所述根据空间三维点的空间坐标和所述空间...

【专利技术属性】
技术研发人员：史文中，王牧阳，范文铮，
申请(专利权)人：香港理工大学深圳研究院，
类型：发明
国别省市：