数据融合方法、结构光相机设备、电子设备及存储介质技术

本发明专利技术实施例涉及图像处理领域，公开了一种数据融合方法、结构光相机设备、电子设备及存储介质，本发明专利技术中，数据融合方法，包括：获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图；其中，在结构光相机旋转过程中，结构光相机的红外镜头的光心和散斑投射器的投射点始终位于中轴线的固定位置处且围绕中轴线同步旋转；对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图。本发明专利技术的数据融合方法，可以生成真实场景比例的深度全景图，从而带给用户较为真实的视觉观看效果。户较为真实的视觉观看效果。户较为真实的视觉观看效果。

【技术实现步骤摘要】
数据融合方法、结构光相机设备、电子设备及存储介质


[0001]本专利技术实施例涉及图像处理领域，特别涉及一种数据融合方法、结构光相机设备、电子设备及存储介质。

技术介绍

[0002]在房屋出租、出售的时候，通常能看到中介、售卖方展示的房屋全景图，买方通过滑动屏幕，以漫游的方式360
°
查看房屋信息。
[0003]但为降低图像成本，商家普遍是通过对拍摄得到的平面图进行图像长宽比拉伸后得到全景图。由于拉伸后的图像改变了图像内容在视觉中的真实比例关系，从而导致图像内容与真实场景内容不符，造成图像的视觉效果不佳。

技术实现思路

[0004]本专利技术实施方式的目的在于提供一种数据融合方法、结构光相机设备、电子设备及存储介质，可以生成真实场景比例的深度全景图，从而带给用户较为真实的视觉观看效果。
[0005]为解决上述技术问题，本专利技术的实施方式提供了一种数据融合方法，包括：获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图；其中，在结构光相机旋转过程中，结构光相机的红外镜头的光心和散斑投射器的投射点始终位于中轴线的固定位置处且围绕中轴线同步旋转；对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图。
[0006]本专利技术的实施方式还提供了一种结构光相机设备，用于执行如上述数据融合方法，包括：结构光相机和位于结构光相机底部的步进电机，结构光相机上设置有红外镜头、彩色镜头和散斑投射器；步进电机，用于带动结构光相机围绕指定中轴线旋转至多个预设角度；红外镜头结构光相机，用于围绕指定中轴线旋转至多个预设角度时采集得到深度图和彩色图，对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图；结构光相机，还用于利用彩色图对深度图进行误差校正；其中，在结构光相机旋转过程中，结构光相机的红外镜头的光心、彩色镜头的光心和散斑投射器的投射点始终位于中轴线的固定位置处且围绕中轴线同步旋转。
[0007]本专利技术的实施方式还提供了一种电子设备，包括：至少一个处理器；与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的数据融合方法。
[0008]本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述数据融合方法。
[0009]本专利技术实施方式的数据融合方法，由于在结构光相机旋转过程中，结构光相机的红外镜头的光心和散斑投射器的投射点始终位于中轴线的固定位置处且围绕中轴线同步
旋转，因此结构光相机旋转一圈，就可以获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图，即获取结构光相机所处环境的所有深度信息，通过对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，可以将各幅深度图由相机拍摄的平面投影图转换为符合人眼视觉效果的柱面投影图，并将转换后邻接的柱面投影图进行拼接，可以将各幅柱面投影图合为一张全景图，从而得到深度全景图。由于该深度全景图反映了真实场景下的图像比例关系，从而可以带给用户较为真实的视觉观看效果。
[0010]另外，结构光相机底部设置有步进电机，获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图，包括：通过步进电机控制结构光相机围绕中轴线旋转至多个预设角度，并在预设角度位置处，控制获取结构光相机采集深度图。本申请中，由于结构光相机底部设置有步进电机，通过步进电机，可以控制结构光相机每次以同一角度进行旋转，从而控制结构光相机围绕中轴线旋转至多个预设角度，并在预设角度位置处，控制获取结构光相机采集深度图，就可以得到生成深度全景图所需的平面投影深度图。
[0011]另外，结构光相机还包括彩色镜头，在所述结构光相机旋转过程中，彩色镜头的光心始终位于中轴线的固定位置处且围绕中轴线同步旋转；对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图之前，方法还包括：获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的彩色图；基于彩色图，对深度图进行误差校正；对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图，包括：对多个预设角度时所采集得到的经误差校正后的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图。本申请中，由于深度图只能体现拍摄对象的深度信息，则对于深度值相同的两个不同对象，就无法通过深度图进行区别，所以，深度图中可能存在一些误差，基于彩色图，可以通过色彩信息，对不同的对象进行进一步的区分，因此，结构光相机中设置彩色镜头，彩色镜头的光心始终位于中轴线的固定位置处且围绕中轴线同步旋转，获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的彩色图，基于彩色图，对深度图进行误差校正，从而得到更加准确的深度图，进而得到更加准确的深度全景图。
[0012]另外，基于彩色图，对深度图进行误差校正，包括：根据彩色图中相邻图像的同名点对，和深度图中相邻图像的同名点对，获取结构光相机的平移矩阵；其中，相邻图像是结构光相机旋转过程中，以相邻预设角度拍摄得到的，平移矩阵表示彩色图和深度图中各图像的姿态与基准姿态之间的平移关系，基准姿态从结构光相机的多个姿态中选定，多个姿态对应多个预设角度；根据平移矩阵，对深度图进行光心对齐处理。本申请中，由于相邻图像是结构光相机旋转过程中，以相邻预设角度拍摄得到的，因此，两幅相邻图像之间存在同名点对，根据彩色图中相邻图像的同名点对，和深度图中相邻图像的同名点对，根据同名点对之间的位置关系，就可以获取表示彩色图和深度图中各图像的姿态与基准姿态之间的平移关系的结构光相机的平移矩阵，并根据平移矩阵，对深度图进行光心对齐处理，从而对深度图进行误差校正。
[0013]另外，对深度图进行误差校正，还包括：对光心对齐处理后的深度图进行空白区域插值填充；其中，空白区域是深度图在光心对齐处理中，由于光心移动导致的无拍摄内容图
像区域。本申请中，空白区域是深度图在光心对齐处理中，由于光心移动导致的无拍摄内容图像区域，则对光心对齐处理后的深度图进行空白区域插值填充，可以得到更加完整的图像内容，从而避免光心移动后，出现空白区域影响图像美感，因此可以提高用户体验。
附图说明
[0014]一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
[0015]图1是根据本专利技术一实施例提供的数据融合方法流程示意图一；
[0016]图2是根据本专利技术一实施例提供的数据融合方法流程示意图二；
[0017]图3是根据本专利技术一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据融合方法，其特征在于，包括：获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图；其中，在所述结构光相机旋转过程中，所述结构光相机的红外镜头的光心和散斑投射器的投射点始终位于所述中轴线的固定位置处且围绕所述中轴线同步旋转；对所述多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图。2.根据权利要求1所述的数据融合方法，其特征在于，所述结构光相机底部设置有步进电机，所述获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图，包括：通过所述步进电机控制所述结构光相机围绕所述中轴线旋转至所述多个预设角度，并在所述预设角度位置处，控制所述获取结构光相机采集所述深度图。3.根据权利要求2所述的数据融合方法，其特征在于，所述结构光相机还包括彩色镜头，在所述结构光相机旋转过程中，所述彩色镜头的光心始终位于所述中轴线的固定位置处且围绕所述中轴线同步旋转；所述对所述多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图之前，所述方法还包括：获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的彩色图；基于所述彩色图，对所述深度图进行误差校正；所述对所述多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图，包括：对所述多个预设角度时所采集得到的经所述误差校正后的所述深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图。4.根据权利要求3所述的数据融合方法，其特征在于，基于所述彩色图，对所述深度图进行误差校正，包括：根据所述彩色图中相邻图像的同名点对，和所述深度图中相邻图像的同名点对，获取所述结构光相机的平移矩阵；其中，所述相邻图像是所述结构光相机旋转过程中，以相邻预设角度拍摄得到的，所述平移矩阵表示所述彩色图和所述深度图中各图像的姿态与基准姿态之间的平移关系，所述基准姿态从所述结构光相机的多个姿态中选定，所述多个姿态对应所述多个预设角度；根据所述平移矩阵，对所述深度图进行光心对齐处理。5.根据权利要求4所述的数据融合方法，其特征在于，所述对所述深度图进行误差校正，还包括：对光心对齐处理后的所述深度图进行空白区域插值填充；其中，所述空白区域是所述深度图在所述光心对齐处理中，由于光心移动导致的无拍摄内容图像区域。6.根据权利要求4或5所述的数据融合方法，其特征在于，所述基于所述彩色图，对所述深度图进行误差校正，还包括：根据所述彩色图中相邻图像的同名点对，和所述深度图中相邻图像的同名点对，获取所述结构光相机的旋转矩阵；所述旋转矩阵表示所述彩色图和所述深度图中各图像的姿态与所述基准姿态之间的旋转关系；
所述将转换后邻接的柱面投影图进行拼接，得到深度全景图，包括：根据所述旋转矩阵，将转换后邻接的柱面投影图进行拼接，得到深度全景图。7.根据权利要求6所述的数据融合方法，其特征在于，所述根据所述旋转矩阵，将转换后邻接的柱面投影图进行拼接，得到深度全景图，包括：根据所述旋转矩阵和所述深度图中相邻图像的同名点对，获取所述深度图中的待融合区域；在所述待融合区域内，通过动态规划搜索灰度差值最小的点；基于所述灰度差值最小的点，形成拼接线；根据所述拼接线，对柱面投影后的所述深度图进行拼...

【专利技术属性】
技术研发人员：刘祺昌，化雪诚，王海彬，李东洋，户磊，
申请(专利权)人：合肥的卢深视科技有限公司，
类型：发明
国别省市：