一种基于事件相机的双目结构光三维成像方法技术

本发明专利技术公开了一种基于事件相机的双目结构光三维成像方法，包含以下步骤：构建基于事件相机的双目结构光三维成像系统；标定双目结构光三维成像系统；标定双目相机的事件流；投射结构光，采集获取事件流；利用事件流进行匹配重建。该方法相比传统的双目线结构光和点结构光方法，本方法拥有更高的效率和更低的功耗；本方法的匹配计算复杂度低，效率更高，对计算的硬件要求更低，便于实现移动端的实时计算；具有更好的鲁棒性和精度，可以适用复杂场景，特别是复杂反射率场景，本方法拥有更优良的表现，从而扩展其应用场景。从而扩展其应用场景。从而扩展其应用场景。

【技术实现步骤摘要】
一种基于事件相机的双目结构光三维成像方法

：
[0001]本专利技术涉及一种基于事件相机的双目结构光三维成像方法，主要使用结构光配合事件相机的事件信息进行高精度的三维重建，属于光学三维测量领域。

技术介绍
：
[0002]传统的结构光按结构光的形态可以分为点结构光、线结构光和面结构光，这些方案都使用三角成像原理进行三维成像。按照系统的组成，可以分为单目系统和双目系统。在单目结构光系统中，只有一个相机，其三维重建依赖于结构光和相机之间的三角关系。在双目系统中，有两个相机，其三维重建依赖于相机和相机之间的三角关系。单目结构光系统的计算更为简单，速度快，但是标定更为复杂，精度相对较低。双目结构光系统的标定更为便捷、精度更高，但是其匹配算法较为复杂。
[0003]双目结构光的匹配算法是双目结构光三维成像体统重要的组成部分，其在很大程度上决定了系统的成像速度和精度。在以伪随机点阵结构光为代表的基于特征匹配的双目算法往往复杂度较大，并且精度较低。常用的特征提取算法包括：HARRIS，SUSAN，FAST，SIFT算法等，在匹配过程中，根据其搜索范围，分为局部、半局部和全局算法，不同的搜索范围的时间代价和匹配误差均有不同。对比而言，基于相位匹配的双目条纹投影结构光系统，是用语义清楚简单的相位图进行匹配，精度更高，但同时因为需要采集更多的图像，因而速度更慢。
[0004]事件相机是受生物启发的传感器，工作原理与传统的相机有很大的差别。相比于以固定的帧率采集图像，这种相机通多测量每个像素的亮度变化来输出异步信号(包括事件，位置和亮度变化的符号)。事件相机与传统相机相比具有很多的优点:高的动态测量范围，高时间分辨率，低功耗，不受运动模糊的影响。在高速、高动态范围的场景下有着广阔的应用空间。
[0005]现有的基于事件相机的单目线扫描结构光的三维成像系统，采用可扫描的线激光和事件相机进行结合，进而完成三维成像。这种系统标定复杂，同时线扫描系统的很容易受到温度、气压等变化的影响，使得其扫描的重复性改变，进而导致标定参数失效。
[0006]本专利主要利用新型的事件相机，使用基于事件的匹配方法，提高双目结构光的匹配精度和效率。

技术实现思路
：
[0007]本专利技术的目的是提高双目结构光三维成像的精度和效率，一种基于事件相机的双目结构光三维成像方法。
[0008]一种基于事件相机的双目结构光三维成像方法，包含以下步骤：
[0009](一)构建基于事件相机的双目结构光三维成像系统；
[0010](二)标定双目结构光三维成像系统；
[0011](三)标定双目相机的事件流；
[0012](四)投射结构光，采集获取事件流；
[0013](五)利用事件流进行匹配重建。
[0014]所述步骤(一)中，
[0015]基于基于事件相机的双目结构光三维成像系统，如图1所示，系统包含由左右事件相机(2和6)构成的双目系统，用于采集双目事件流信息，所述的事件相机包含用于成像的镜头。所述激光器4，还包含用于整形和准直的光学附件，激光器的光束经过棱镜3后，在y方向上被拉伸为一字线激光。激光经过MEMS微镜的反射照射在被测物1上。所述MEMS微镜可以在电流或电压信号的驱动下，绕y轴往复运动，从而带动激光束对物体进行扫描。
[0016]所述双目系统，可以是平行光轴放置，也可以是交叉光轴放置。
[0017]所述棱镜，可以选用任何能将点激光拉伸为线激光的棱镜，包含但不限于柱面镜、鲍威尔棱镜。
[0018]所述MEMS微镜，可以选用的类型包含但不限于电热、电磁、静电原理的微镜，只要可以带动激光束完成对物体的扫描。
[0019]在本专利技术的另一个实施方案中，使用电机驱动的机械振镜替代MEMS微镜，仍然能达到设计效果。
[0020]在本专利技术的另一个实施方案中，MEMS微镜可以同时绕x和y两个轴向往复摆动，此时去掉棱镜3，仍然可以达到设计效果。
[0021]在本专利技术的另一个实施方案中，去掉棱镜3，使用两轴的机械振镜同时绕x和y两个轴向往复摆动，仍然可以达到设计效果。
[0022]所述步骤(二)中，
[0023]将事件相机置于图像采集模式，采集标定板图像，利用标定算法标定双目系统的内参和外参。所述标定方法可以使用业内通用的任何方法，不影响本专利的实施和效果。
[0024]所述步骤(三)中，
[0025]保证两个相机已经启动，并开始采集事件流左右相机的事件流E
L
(i,x
i
,y
i
,t
i
)和E
R
(i,x
i
,y
i
,t
i
)，其中x
i
和y
i
表示光线变化超过阈值(即被激活，也即事件发生)的像素的像素坐标系下的坐标，t
i
表示被激活的时间。将LED灯珠，或者激光器照射到被测物上，点亮光源，然后迅速关闭光源。利用灯光开、关两个事件，对齐左右相机的事件流。所述的光源，响应事件需在纳秒级。
[0026]所述步骤(四)中，包含以下子步骤，
[0027]1)投射结构光到物体表面
[0028]将被测物放置在系统设计的测量范围内，使用前述结构光投射器投射结构光，根据被测物表面的纹理特征，适当调整结构光的能量输出，使得线结构光的亮度兼顾光刀质量和清晰度。
[0029]2)采集事件流
[0030]开始采集事件流左右相机的事件流E
L
(i,x
i
,y
i
,t
i
)和E
R
(i,x
i
,y
i
,t
i
)，所述的事件流需要和步骤(三)中的事件流是同一个事件流，即不能中断。中断后需要重新执行步骤(三)的标定过程。
[0031]3)进行全场扫描，持续采集事件流
[0032]使用前述的方法，控制光束进行扫描，并持续采集事件流。
[0033]所述步骤(五)中，包含以下子步骤：
[0034]1)遍历事件流，对事件流进行滤波
[0035]在两个事件流E
L
(i,x
i
,y
i
,t
i
)和E
R
(i,x
i
,y
i
,t
i
)中，单个事件流中相同的t
i
代表这些像素同时被激活，通常目标事件至少是多个彼此相连的像素组成，对于孤立的像素，应作为噪声予以剔除。
[0036]2)遍历事件流，将事件按时间戳进行分组
[0037]按照时间戳将所有的事件进行分组。所述时间戳t
i
为左右相机事件流根据步骤(三)进行统一之后的t
i
。
[0038]3)对结构光的特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的双目结构光三维成像系统，其特征在于：包含双目系统和激光器；所述双目系统由左事件相机和右事件相机构成；所述双目系统用于采集双目事件流信息；所述激光器用于发射光束。2.基于权利要求1所述双目结构光三维成像系统的成像方法，其特征在于，包含以下步骤：(一)构建基于事件相机的双目结构光三维成像系统；(二)标定双目结构光三维成像系统；(三)标定双目相机的事件流；(四)投射结构光，采集获取事件流；(五)利用事件流进行匹配重建。3.如权利要求2所述的双目结构光三维成像方法，其特征在于，所述步骤(一)中，所述双目结构光三维成像系统还包含棱镜和MEMS微镜；所述激光器的光束经过棱镜后，在y方向上被拉伸为一字线激光，激光经过MEMS微镜的反射照射在被测物上；所述MEMS微镜在电流或电压信号的驱动下，绕y轴往复运动，从而带动激光束对物体进行扫描。4.如权利要求3所述的双目结构光三维成像方法，其特征在于，所述双目系统，是平行光轴放置，或者是交叉光轴放置；所述棱镜，选用任何能将点激光拉伸为线激光的棱镜，包含柱面镜、鲍威尔棱镜；所述MEMS微镜，选用的类型包含电热、电磁、静电原理的微镜，用于带动激光束完成对物体的扫描。5.如权利要求2所述的双目结构光三维成像方法，其特征在于，所述步骤(一)中，所述双目结构光三维成像系统还包含棱镜和电机驱动的机械振镜；所述激光器的光束经过棱镜后，在y方向上被拉伸为一字线激光，激光经过机械振镜的反射照射在被测物上；所述机械振镜在电流或电压信号的驱动下，绕y轴往复运动，从而带动激光束对物体进行扫描。6.如权利要求2所述的双目结构光三维成像方法，其特征在于，所述步骤(一)中，所述双目结构光三维成像系统还包含MEMS微镜或者电机驱动的机械振镜；所述MEMS微镜同时绕x和y两个轴向往复摆动，激光器的激光经过MEMS微镜的反射照射在被测物上；所述MEMS微镜在电流或电压信号的驱动下，绕y轴往复运动，从而带动激光束对物体进行扫描；或者所述电机驱动的机械振镜同时绕x和y两个轴向往复摆动，激光器的激光经过机械振镜的反射照射在被测物上；所述机械振镜在电流或电压信号的驱动下，绕y轴往复运动，从而带动激光束对物体进行扫描。7.如权利要求2所述的双目结构光三维成像方法，其特征在于，所述步骤(二)中，将事件相机置于图像采集模式，采集标定板图像，利用标定算法标定双目系统的内部参数和外部参数。8.如权利要求2所述的双目结构光三维成像方法，其特征在于，所述步骤(三)中，保证两个相机已经启动，并开始采集事件流左事件相机和右事件相机的事件流E
L
(i,x
i
,y
i
,t
i
)和E
R
(i,x
i
,y
i
,t
i
)，其中x
i
和y

【专利技术属性】
技术研发人员：杨涛，彭磊，雷浩，王丛华，李欢欢，周翔，
申请(专利权)人：革点科技深圳有限公司，
类型：发明
国别省市：