深度计算芯片架构制造技术

本发明专利技术提供一种深度计算芯片架构，用于同步或分步：接收TOF图像传感器的电信号，通过TOF深度计算模式对电信号的相位计算以获取相位值和/或深度值，通过预先存储的预标定参数标定，然后进行优化，将优化后得到的TOF深度图像输出；接收TOF图像传感器的电信号，通过结构光深度计算模式对电信号的相位计算以获取反映光束强度的强度信息，对强度信息进行处理后与预先存储的参考图像进行匹配得，然后进行优化，将优化后得到的结构光深度图像输出；接收TOF图像传感器的电信号，得到融合后的深度图像，将融合后的深度图像输出。通过从芯片级实现多种深度图像获取的方案，实现高精度、大范围深度测量，且提升计算效率以及降低功耗。

Deep computing chip architecture

The invention provides a depth calculation chip architecture, which is used for synchronization or step-by-step: receiving the electric signal of TOF image sensor, calculating the phase of electric signal through TOF depth calculation mode to obtain the phase value and / or depth value, calibrating through pre stored pre calibration parameters, then optimizing, outputting the optimized TOF depth image, receiving the electric signal of TOF image sensor The phase of the electric signal is calculated by the structural light depth calculation mode to obtain the intensity information reflecting the beam intensity. The intensity information is processed and matched with the pre stored reference image, and then optimized to output the optimized structural light depth image. The electric signal of the TOF image sensor is received to obtain the fused depth image, and the fused depth image is obtained Degree image output. By implementing a variety of depth image acquisition schemes from the chip level, we can achieve high-precision, wide range depth measurement, and improve the calculation efficiency and reduce power consumption.

【技术实现步骤摘要】
深度计算芯片架构
本专利技术涉及光学测量
，尤其涉及一种深度计算芯片架构。
技术介绍
ToF的全称是Time-of-Flight，即飞行时间，ToF测距技术是一种通过测量光脉冲在发射/接收装置和目标物体间的往返飞行时间来实现精确测距的技术。在ToF技术中直接对光飞行时间进行测量的技术被称为dToF(direct-TOF)；对发射光信号进行周期性调制，通过对反射光信号相对于发射光信号的相位延迟进行测量，再由相位延迟对飞行时间进行计算的测量技术被成为iToF(Indirect-TOF)技术。按照调制解调类型方式的不同可以分为连续波(ContinuousWave，CW)调制解调方法和脉冲调制(PulseModulated，PM)调制解调方法。结构光测距技术则向空间物体发射结构光光束，其次采集被物体调制及反射后的结构光光束所形成的结构光图案，最后利用三角法进行深度计算以获取物体的深度数据。常用的结构光图案有不规则斑点图案、条纹图案、相移图案等。相比而言，TOF技术无需进行复杂的图像处理计算(如结构光图像匹配计算)，在中远距时能保持相对较高的测量精度；而结构光技术则在近距测量时具有非常高的精度，但随着距离增加精度会至少呈现线性增长。另外，结构光技术由于是通过采集反映反射光强度的图像来进行计算深度的，因此难免会受到环境光对光强度的影响，相对而言TOF则在环境光抗干扰方面要优于结构光技术。
技术实现思路
本专利技术为了解决现有的问题，提供一种深度计算芯片架构。为了解决上述问题，本专利技术采用的技术方案如下所述：一种深度计算芯片架构，用于同步或分步：接收TOF图像传感器的电信号，通过TOF深度计算模式对所述电信号的相位计算以获取相位值和/或深度值，通过预先存储的预标定参数标定所述相位值和/或深度值，对标定后的所述相位值和/或深度值进行优化，将优化后得到的TOF深度图像输出；接收TOF图像传感器的电信号，通过结构光深度计算模式对所述电信号的相位计算以获取反映光束强度的强度信息，对所述强度信息进行处理后与预先存储的参考图像进行匹配得到像素偏离值和/或目标的深度值，对所述像素偏离值和/或所述目标的深度值进行优化，将优化后得到的结构光深度图像输出；接收TOF图像传感器的电信号，通过融合所述TOF深度计算模式和所述结构光深度计算模式对所述电信号进行处理得到融合后的深度图像，将融合后的深度图像输出。在本专利技术的一种实施例中，通过融合所述TOF深度计算模式和所述结构光深度计算模式对所述电信号进行处理包括：在所述TOF深度计算模式下得到所述TOF深度图像；在所述结构光深度计算模式下得到所述结构光深度图像；将所述TOF深度图像和所述结构光深度图像进行融合得到融合后的深度图像。在本专利技术的另一种实施例中，通过融合所述TOF深度计算模式和所述结构光深度计算模式对所述电信号进行处理包括：在所述TOF深度计算模式下得到所述TOF深度图像；在所述结构光深度计算模式将所述TOF深度图像作为匹配计算的初始值用于得到结构光深度图像。在本专利技术的再一种实施例中，所述预标定参数和所述预先存储的参考图像存储在存储器中。所述强度信息包括振幅值，采用零均值归一化最小平方距离函数对所述振幅值对应的图像与所述先存储的参考图像进行像素偏离值的匹配估计。本专利技术还提供一种深度计算芯片架构，包括：分路器，用于接收来自TOF图像传感器的电信号；相位计算模块，与所述分路器连接，用于将所述电信号的相位计算以获取反映光束强度的强度信息；标定模块，与所述相位计算模块连接，通过预先存储的预标定参数标定所述相位值和/或深度值；第一后处理模块，与所述标定模块连接，用于对标定后的所述相位值和/或深度值进行优化，得到TOF深度图像；振幅计算模块，与所述分路器连接，通过结构光深度计算模式对所述电信号的相位计算以获取反映光束强度的强度信息；前处理模块，与所述振幅计算模块连接，对所述强度信息进行处理；匹配模块，与所述前处理模块连接，将处理后的所述强度信息与预先存储的参考图像进行匹配得到像素偏离值和/或目标的深度值；第二后处理模块，与所述匹配模块连接，用于对所述像素偏离值和/或所述目标的深度值进行优化，得到结构光深度图像；融合模块，与所述第一后处理模块和所述第二后处理模块连接，用于得到融合后的深度图像；复用器，与所述第一后处理模块、所述第二后处理模块和所述融合模块连接，将所述TOF深度图像、所述结构光深度图像和所述融合后的深度图像输出。在本专利技术的一种实施例中，所述融合模块将所述第一后处理模块得到的TOF深度图像和所述第二后处理模块的所述结构光深度图像融合得到所述融合后的深度图像。在本专利技术的又一种实施例中，所述第一后处理模块得到的TOF深度图像，所述匹配模块将所述TOF深度图像作为匹配计算的初始值用于后续得到结构光深度图像。在本专利技术的再一种实施例中，所述标定模块和所述匹配模块与存储器连接，所述存储器存储所述预标定参数和所述预先存储的参考图像。深度计算芯片架构为集成SOC芯片时，还包括总线、主控制器、输入接口和输出接口；所述分路器通过所述输入接口接收数据，所述复用器通过所述输出接口输出数据，所述输入接口和所述输出接口是USB、MIPI、DVP形式的接口；总线负责所述SOC芯片内部模块以及外部模块之间的通信、传输；所述主控制器负责内部模块之间的资源调配与功能触发。本专利技术的有益效果为：提供一种深度计算芯片架构，通过从芯片级实现多种深度图像获取的方案，实现高精度、大范围深度测量，且提升计算效率以及降低功耗。附图说明图1是本专利技术实施例中深度测量装置的结构示意图。图2是本专利技术实施例中一种深度测量装置原理示意图。图3是本专利技术实施例中又一种深度测量装置原理示意图。图4是本专利技术实施例中一种融合TOF与结构光方案的深度测量装置的结构示意图。图5是本专利技术实施例中又一种融合TOF与结构光方案的深度测量装置的结构示意图。图6是本专利技术实施例中结构光与TOF时序控制示意图。图7是本专利技术实施例中控制与处理电路架构示意图。图8是本专利技术实施例中一种距离测量方法示意图。图9是本专利技术实施例中另一种距离测量方法示意图。图10是本专利技术实施例中一种对所述电信号进行处理方法示意图。图11是本专利技术实施例中另一种对所述电信号进行处理方法示意图。其中，10-深度测量装置，11-光发射模组，12-采集模组，13-控制与处理电路，14-泛光光源模组，111-光源，112-图案化光学元件，121-TOF图像传感器，122-透镜单元，20-目标物体，30-发射光束，40-反射光束，201-斑点结构光图案化光束，202-光斑，40-深度测量装置，41-光发射模组，42-采集模组，43-控制与处理电路，44-泛光光源模组，51-像素，52-光斑，70-芯片，71-相位计算模块，72-标定模块，73-第一后处理模块，74-1-分路器，74-2-复用器，75-振幅计算模块，76-前处理模块，77-匹配模块本文档来自技高网...

【技术保护点】
1.一种深度计算芯片架构，其特征在于，用于同步或分步：/n接收TOF图像传感器的电信号，通过TOF深度计算模式对所述电信号的相位计算以获取相位值和/或深度值，通过预先存储的预标定参数标定所述相位值和/或深度值，对标定后的所述相位值和/或深度值进行优化，将优化后得到的TOF深度图像输出；/n接收TOF图像传感器的电信号，通过结构光深度计算模式对所述电信号的相位计算以获取反映光束强度的强度信息，对所述强度信息进行处理后与预先存储的参考图像进行匹配得到像素偏离值和/或目标的深度值，对所述像素偏离值和/或所述目标的深度值进行优化，将优化后得到的结构光深度图像输出；/n接收TOF图像传感器的电信号，通过融合所述TOF深度计算模式和所述结构光深度计算模式对所述电信号进行处理得到融合后的深度图像，将融合后的深度图像输出。/n

【技术特征摘要】
1.一种深度计算芯片架构，其特征在于，用于同步或分步：
接收TOF图像传感器的电信号，通过TOF深度计算模式对所述电信号的相位计算以获取相位值和/或深度值，通过预先存储的预标定参数标定所述相位值和/或深度值，对标定后的所述相位值和/或深度值进行优化，将优化后得到的TOF深度图像输出；
接收TOF图像传感器的电信号，通过结构光深度计算模式对所述电信号的相位计算以获取反映光束强度的强度信息，对所述强度信息进行处理后与预先存储的参考图像进行匹配得到像素偏离值和/或目标的深度值，对所述像素偏离值和/或所述目标的深度值进行优化，将优化后得到的结构光深度图像输出；
接收TOF图像传感器的电信号，通过融合所述TOF深度计算模式和所述结构光深度计算模式对所述电信号进行处理得到融合后的深度图像，将融合后的深度图像输出。


2.如权利要求1所述的深度计算芯片架构，其特征在于，通过融合所述TOF深度计算模式和所述结构光深度计算模式对所述电信号进行处理包括：
在所述TOF深度计算模式下得到所述TOF深度图像；
在所述结构光深度计算模式下得到所述结构光深度图像；
将所述TOF深度图像和所述结构光深度图像进行融合得到融合后的深度图像。


3.如权利要求1所述的深度计算芯片架构，其特征在于，通过融合所述TOF深度计算模式和所述结构光深度计算模式对所述电信号进行处理包括：
在所述TOF深度计算模式下得到所述TOF深度图像；
在所述结构光深度计算模式将所述TOF深度图像作为匹配计算的初始值用于得到结构光深度图像。


4.如权利要求1-3任一所述的深度计算芯片架构，其特征在于，所述预标定参数和所述预先存储的参考图像存储在存储器中。


5.如权利要求1-3任一所述的深度计算芯片架构，其特征在于，所述强度信息包括振幅值，采用零均值归一化最小平方距离函数对所述振幅值对应的图像与所述先存储的参考图像进行像素偏离值的匹配估计。


6.一种深度计算芯片架构，其特征在于，包括：
分路器，用于接收来自TOF图像传感器的电信号；
相位计算模块，与所述分路器连接，用于...

【专利技术属性】
技术研发人员：许星，
申请(专利权)人：深圳奥比中光科技有限公司，
类型：发明
国别省市：广东;44