坐标获取装置、实时三维重建系统和方法、立体交互设备制造方法及图纸

本申请公开了一种基于计算机视觉的实时三维目标重建系统和方法及所使用的三维坐标信息获取装置、以及一种立体交互设备。其中，坐标获取装置包括：图像采集模块，用于通过红外双目摄像机的第一摄像头和第二摄像头对同一目标物进行拍摄，分别得到第一图像和第二图像；区域选择模块，用于基于图像灰度特征在第一图像中确定出感兴趣区域；边缘点提取模块，用于对感兴趣区域进行边缘点提取；深度计算模块，用于在第二图像中，搜索与第一图像的边缘点对应的匹配点，根据边缘点的坐标及匹配点的坐标，得到匹配点的三维坐标。本申请提供的方案适用于近距离三维目标重建。

【技术实现步骤摘要】

本申请涉及计算机视觉
，尤其涉及一种基于计算机视觉的实时三维目标重建系统和方法及所使用的三维坐标信息获取装置、以及一种立体交互设备。
技术介绍
随着人们对智能化人机交互领域的需求越来越高，如何使机器理解人成为一个亟待解决的问题。研究表明，如果能够借助各种传感设备实时提取人的行为的三维(3D)信息并设定某些规则使机器理解这些信息，将是解决这个问题的关键环节，其中3D目标重建是实现该关键环节的基础。3D目标重建是指在一个有限的3D视场中，提取目标在空间直角坐标系的X方向、Y方向以及Z方向的位置信息，据此实现3D重建。
技术实现思路
根据本申请的第一方面，提供一种用于实时三维目标重建的坐标获取装置，包括图像采集模块，用于通过红外双目摄像机的第一摄像头和第二摄像头对同一目标物进行拍摄，分别得到第一图像和第二图像；区域选择模块，用于基于图像灰度特征在第一图像中确定出感兴趣区域；边缘点提取模块，用于对感兴趣区域进行边缘点提取；深度计算模块，用于在第二图像中，搜索与第一图像的边缘点对应的匹配点，根据边缘点的坐标及匹配点的坐标，得到匹配点的三维坐标。根据本申请的第二方面，提供一种使用上述坐标获取装置的实时三维目标重建系统，其还包括目标重构模块，用于在第一校准图像中，根据边缘点进行插值得到插值点，在第二校准图像中搜索与插值点对应的匹配插值点，根据插值点的坐标及匹配插值点的坐标，结合双目摄像机的焦距及两摄像头中心点的距离进行计算，得到匹配插值点的三维坐标，根据匹配插值点的三维坐标实现目标物的三维重建。根据本申请的第三方面，提供一种使用上述坐标获取装置或三维目标重建系统的立体交互设备。根据本申请的第四方面，提供一种实时三维目标重建方法，包括图像采集步骤，通过红外双目摄像机的第一摄像头和第二摄像头对同一目标物进行拍摄，分别得到第一图像和第二图像，所述第一图像包括第一红外图像和第一红外增强图像，所述第二图像为第二红外增强图像；区域选择步骤，针对第一红外增强图像中的每个像素点以及与该像素点对应的第一红外图像中的每个像素点，计算二者的灰度值的比值或灰度值的差值，比值大于第一预设阈值或差值大于第二预设阈值的像素点构成感兴趣区域；边缘点提取步骤，对感兴趣区域进行边缘点提取；深度计算步骤，在第二图像中，搜索与第一图像的边缘点对应的匹配点，根据边缘点的坐标及匹配点的坐标，结合双目摄像机的焦距及两摄像头中心点的距离进行计算，得到匹配点的三维坐标；目标重构步骤，在第一图像中，根据边缘点进行插值得到插值点，在第二图像中搜索与插值点对应的匹配插值点，根据插值点的坐标及匹配插值点的坐标，结合双目摄像机的焦距及两摄像头中心点的距离进行计算，得到匹配插值点的三维坐标，根据匹配插值点的三维坐标实现目标物的三维重建。本申请的有益效果是通过从第一图像中提取边缘点，在第二图像中找出该边缘点的匹配点，结合双目摄像机的焦距及两摄像头中心点的距离进行计算，从而得到匹配点的空间三维坐标，这种方案适用于近距离三维目标重建。一种实施例中，结合红外光源的辅助可得到具有稳定亮度的图像，使得后续计算的准确度增加，区域选取时只采用简单的灰度特征，加快了处理速度，仅以选取出的感兴趣区域的边缘点进行计算，达到了减少计算量且又提高速度的目的。进一步地，通过腐蚀处理消除区域边界处的不可靠点，从而达到提高精度的目的。附图说明图1为本申请一种实施例的坐标获取装置的结构示意图；图2为本申请一种实施例的深度计算方法的流程示意图；图3为本申请一种实施例的双目摄像机的结构示意图；图4为本申请另一种实施例的坐标获取装置的结构示意图；图5为本申请一种实施例的校准和区域选择处理的结构示意图；图6为本申请另一种实施例的坐标获取装置的结构示意图；图7为本申请另一种实施例的坐标获取装置的结构示意图；图8为本申请一种实施例的坐标获取装置的一种应用示意图。具体实施例方式下面通过具体实施方式结合附图对本专利技术作进一步详细说明。实施例1由于目标在空间直角坐标系的X方向和Y方向上的实时坐标可以通过任意一个摄像头拍摄到的数据得到，而Z方向的坐标信息无法直接得到，所以如何计算Z方向的实时坐标是实现三维目标重建的关键点之一。本申请的一种用于实时三维目标重建的坐标获取装置可参考图1，包括图像采集模块101、区域选择模块103、边缘点提取模块105和深度计算模块107。图像采集模块101用于通过双目摄像机的第一摄像头和第二摄像头对同一目标物进行拍摄，分别得到第一图像和第二图像。双目摄像机可采用常规的双目摄像机。区域选择模块103用于基于图像灰度特征在第一图像中确定出感兴趣区域。边缘点提取模块105用于对感兴趣区域进行边缘点提取。深度计算模块107用于在第二图像中搜索与第一图像的边缘点对应的匹配点，根据边缘点的坐标及匹配点的坐标，结合双目摄像机的焦距及两摄像头中心点的距离，根据图像间立体视差反比于测量深度进行计算，得到匹配点的三维坐标。这里深度计算的方法可采用基于区域的方法进行计算，这样可以在保证精度的情况下提高速度。如图2所示，最上方的虚线框内为待拍摄的目标物，中间为双目摄像机(含摄像头I和摄像头2)，最下方的左边图为摄像头I拍摄得到的图像L，右边图为摄像头2拍摄得到的图像R，其中T为摄像头I和摄像头2的中心点距离，f为摄像头焦距，Cl1和d2分别为两个摄像头拍摄到的图像在X方向上的偏移距离。在图像L中以提取的边缘点为中心Pc，选取m*m(m为像素点的数目)大小的扫描区域，扫描图像R中以与Pc位置相同的像素点为中心的相同大小(即m*m)的区域，对图像L和图像R中的相应的扫描区域中像素灰度值差的绝对值求和，所求和的值最小的中心点位置就是图像L中边缘点在图像R中的匹配点的相对位置，由此可以得到d2的值，利用如下公式权利要求1.一种用于实时三维目标重建的坐标获取装置，其特征在于，包括图像采集模块，用于通过红外双目摄像机的第一摄像头和第二摄像头对同一目标物进行拍摄，分别得到第一图像和第二图像；区域选择模块，用于基于图像灰度特征在第一图像中确定出感兴趣区域；边缘点提取模块，用于对感兴趣区域进行边缘点提取；深度计算模块，用于在第二图像中，搜索与第一图像的边缘点对应的匹配点，根据边缘点的坐标及匹配点的坐标，结合双目摄像机的焦距及两摄像头中心点的距离进行计算，得到匹配点的三维坐标。2.如权利要求1所述的坐标获取装置，其特征在于，所述第一图像包括第一红外图像和第一红外增强图像，所述第二图像为第二红外增强图像；所述区域选择模块包括计算选择单元，用于针对第一红外增强图像中的每个像素点以及与该像素点对应的第一红外图像中的每个像素点，计算二者的灰度值的比值或灰度值的差值，比值大于第一预设阈值或差值大于第二预设阈值的像素点构成感兴趣区域；所述坐标获取装置还包括校准模块，用于基于双目摄像机的标定参数，对第二红外增强图像和选出感兴趣区域的第一红外增强图像进行校准并输出；所述深度计算模块中的第二图像为校准后的第二红外增强图像。3.如权利要求1所述的坐标获取装置，其特征在于，所述第一图像包括第一红外图像和第一红外增强图像，所述第二图像为第二红外增强图像；所述坐标获取装置还包括校准模块，用于基于双目摄像机的标定参数，对第一红外图像、第一红外增强图像和第本文档来自技高网...

【技术保护点】
一种用于实时三维目标重建的坐标获取装置，其特征在于，包括：图像采集模块，用于通过红外双目摄像机的第一摄像头和第二摄像头对同一目标物进行拍摄，分别得到第一图像和第二图像；区域选择模块，用于基于图像灰度特征在第一图像中确定出感兴趣区域；边缘点提取模块，用于对感兴趣区域进行边缘点提取；深度计算模块，用于在第二图像中，搜索与第一图像的边缘点对应的匹配点，根据边缘点的坐标及匹配点的坐标，结合双目摄像机的焦距及两摄像头中心点的距离进行计算，得到匹配点的三维坐标。

【技术特征摘要】

【专利技术属性】
技术研发人员：王伟，黄宇聪，魏益群，刘翩，
申请(专利权)人：魏益群，王伟，黄宇聪，
类型：发明
国别省市：