双目图像处理方法、成像装置及电子设备制造方法及图纸

本发明专利技术提供了一种双目图像处理方法，以及使用该双目图像处理方法的成像装置和电子设备。该双目图像处理方法包括：由一对图像采集子单元构成的成像单元采集第一图像和第二图像；将第一图像和第二图像发送给图像处理单元进行立体匹配，获取第一图像和第二图像的初始视差；将第一图像分割成若干块子图像；对每一子图像中的像素点的初始视差进行统计，确定稳定像素点和非稳定像素点；对非稳定像素点的视差进行优化，获取最终视差图。本发明专利技术不仅保证了运算速度，同时提高了立体匹配视差计算的精度，具有较强的实际应用意义。

【技术实现步骤摘要】
双目图像处理方法、成像装置及电子设备
本专利技术涉及图像处理技术，特别涉及一种图像分割后处理的立体匹配方法。
技术介绍
随着立体视觉的不断发展，尤其是双摄手机的问世，可以很轻便的实现像单反相机那样不同景深的模糊虚化。双摄与人眼的原理是类似的，当人用一只眼睛的时候，很难准确识别物体的距离，也即单摄手机很难获取场景深度，而当同时使用两只眼睛时，大脑利用两个视角的图像，重构出真实的三维世界，从而构成人类最重要的信息来源——视觉。双摄亦是仿照人眼来进行工作。对真实世界中的某一场景，利用双摄像头同时对其进行数据采集成像，从而将三维世界中的某一个物点同时记录在了两幅图像上，即同一物点对应的两个像点。而双摄重构三维世界的重要步骤之一就是立体匹配。立体匹配即是利用参考图像(如“左图”)上的像点，在目标图像(如“右图”)上找到与之对应的匹配点。根据对极几何知识，利用左右匹配点，可以获取视差，结合三角测量法，便可以计算出两个像点对应的三维世界中的同一物点的深度。以此，可以计算出左右图像公共视场中所有物点的深度信息。立体匹配是获取物体深度的基础，而深度是实现背景虚化，深度测量，无人驾驶等应用的基础。立体匹配的精度也决定了这些应用的准确度。但是，立体匹配的精度受很多因素影响，如当场景中有大片低纹理或者存在物体的遮挡时，对应的这些像素点称为不稳定点(unstablepoint)，反之像素点称为稳定点(stablepoint)。对于unstablepoint很容易引起视差计算错误，从而导致深度错误。针对这些缺陷，也出现了多种多样的立体匹配方法，如绝对误差和算法SAD(SumofAbsoluteDifferences)，误差平方和算法SSD(SumofSquaredDifferences)，归一化积相关算法NCC(NormalizedCrossCorrelation)，置信度传播BP(BeliefPropagation)，图割(graph-cut)等方法。这些方法各有利弊，如SAD本身原理简单，但很容易出现匹配错误；而graph-cut较前者原理复杂，准确度较高，但计算量大，算法运算时间较长，很难达到实时计算深度的要求。
技术实现思路
根据本专利技术实施例，提供了一种双目图像处理方法，用于一电子设备，电子设备包括由一对图像采集子单元构成的成像单元，双目图像处理方法包含：由一对图像采集子单元构成的成像单元采集第一图像和第二图像；将第一图像和第二图像发送给图像处理单元进行立体匹配，获取第一图像和第二图像的初始视差；将第一图像分割成若干块子图像；对每一子图像中的像素点的初始视差进行统计，确定稳定像素点和非稳定像素点；对非稳定像素点的视差进行优化，获取最终视差图。进一步，根据本专利技术实施例的双目图像处理方法，采用全局匹配算法计算所述立体匹配获取初始视差。进一步，根据本专利技术实施例的双目图像处理方法，全局匹配算法采用置信度传播算法。进一步，根据本专利技术实施例的双目图像处理方法，置信度传播算法的匹配代价包含但不限于：像素点、像素点的邻域像素点信息、及邻域像素点的邻域点传递给邻域像素点的信息。进一步，根据本专利技术实施例的双目图像处理方法，采用K-means算法对第一图像进行图像分割，K-means算法中，为每个像素点在一定距离范围内寻找距离最近的簇中心。进一步，根据本专利技术实施例的双目图像处理方法，寻找距离最近的簇中心的计算参数包含：距离和颜色强度。进一步，根据本专利技术实施例的双目图像处理方法，通过可信度测量对每一子图像内的像素点进行判断，确定稳定像素点和非稳定像素点。进一步，根据本专利技术实施例的双目图像处理方法，利用平面拟合对每一子图像中的非稳定像素点的视差进行优化。根据本专利技术的另一实施例，提供了一种电子设备，包括：由一对图像采集子单元构成的成像单元，图像处理单元，及存储器。其中，成像单元，用于采集第一图像和第二图像；图像处理单元，用于对第一图像和第二图像进行立体匹配，获取第一图像和第二图像的初始视差；将第一图像分割成若干块子图像；对每一子图像中的像素点的初始视差进行统计，确定稳定像素点和非稳定像素点；对非稳定像素点的视差进行优化，获取最终视差图；存储器，用于存储图像处理单元运行的程序以及运行程序所需要的数据。根据本专利技术的另一实施例，提供了一种双目图像处理方法，用于一成像装置，成像装置包括由一对图像采集子单元构成的成像单元，双目图像处理方法包含：由一对图像采集子单元构成的成像单元采集第一图像和第二图像；将第一图像和第二图像发送给图像处理单元进行立体匹配，获取第一图像和第二图像的初始视差；将第一图像分割成若干块子图像；对每一子图像中的像素点的初始视差进行统计，确定稳定像素点和非稳定像素点；对非稳定像素点的视差进行优化，获取最终视差图。根据本专利技术的另一实施例，提供了一种成像装置，包括：成像单元，其由一对图像采集子单元构成，用于采集第一图像和第二图像；图像处理单元，用于对第一图像和第二图像进行立体匹配，获取第一图像和第二图像的初始视差；将第一图像分割成若干块子图像；对每一子图像中的像素点的初始视差进行统计，确定稳定像素点和非稳定像素点；对非稳定像素点的视差进行优化，获取最终视差图。根据本专利技术实施例的双目图像处理方法以及使用该双目图像处理方法的成像装置和电子设备，其不仅保证了运算速度，同时提高了立体匹配视差计算的精度，具有较强的实际应用意义。要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。附图说明图1为图示根据本专利技术电子设备的框图；图2为图示根据本专利技术电子设备的双目图像处理方法的流程图；图3为图示根据本专利技术成像装置的框图；图4为图示根据本专利技术成像装置的双目图像处理方法的流程图。具体实施方式以下将结合附图，详细描述本专利技术的优选实施例，对本专利技术做进一步阐述。首先，将结合图1描述根据本专利技术实施例的电子设备，本专利技术的电子设备优选地例如是：智能手机、平板电脑、数码相机、笔记本电脑等中的任意一个，以及其他用双摄像头实现采集图像的电子设备。图1是图示根据本专利技术实施例的电子设备的框图。如图1所示，本专利技术实施例的电子设备1具有成像单元11、图像处理单元12以及存储单元13，可以理解的是，图1中为了简化描述仅仅示出了与本专利技术紧密相关的组件，根据本专利技术实施例的电子设备1还可以包括诸如中央处理器、通信单元、I/O单元的其他组件。具体地，成像单元11包括一对图像采集子单元，在本实施例中，一对图像采集子单元为一对摄像头111和112，图1所示的摄像头111和112为左右布置，该布置方式仅仅是示例性的，摄像头111和112还可以上下布置。本实施例中，摄像头111和112是经过校准的，其各自采集物理世界的图像，这样得到的双目图像满足对极线约束，即对应像素点处于图像的同一行上，为后续算法节省大量运算量。具体地，图像处理单元12用于对一对图像采集子单元即摄像头111和112构成的成像单元11获取左目图像和右目图像。图像处理单元12可以是由诸如图像处理单元GPU、数字信号处理器DSP、专用集成电路ASIC中的任一配置。由于以左目头像为参考图像，在本实施例中，图像处理单元12对左目图像执行全局匹配、图像分割、可信度测量、平面拟合等处理，以得到准确本文档来自技高网...

【技术保护点】
一种双目图像处理方法，用于一电子设备，所述电子设备包括由一对图像采集子单元构成的成像单元，其特征在于：由所述一对图像采集子单元构成的成像单元采集第一图像和第二图像；将所述第一图像和第二图像发送给图像处理单元进行立体匹配，获取所述第一图像和第二图像的初始视差；将所述第一图像分割成若干块子图像；对所述每一子图像中的像素点的初始视差进行统计，确定稳定像素点和非稳定像素点；对所述非稳定像素点的视差进行优化，获取最终视差图。

【技术特征摘要】
1.一种双目图像处理方法，用于一电子设备，所述电子设备包括由一对图像采集子单元构成的成像单元，其特征在于：由所述一对图像采集子单元构成的成像单元采集第一图像和第二图像；将所述第一图像和第二图像发送给图像处理单元进行立体匹配，获取所述第一图像和第二图像的初始视差；将所述第一图像分割成若干块子图像；对所述每一子图像中的像素点的初始视差进行统计，确定稳定像素点和非稳定像素点；对所述非稳定像素点的视差进行优化，获取最终视差图。2.如权利要求1所述的双目图像处理方法，其特征在于，采用全局匹配算法计算所述立体匹配获取初始视差。3.如权利要求2所述的双目图像处理方法，其特征在于，所述全局匹配算法采用置信度传播算法。4.如权利要求3所述的双目图像处理方法，其特征在于，所述置信度传播算法的匹配代价包含但不限于：像素点、所述像素点的邻域像素点信息、及所述邻域像素点的邻域点传递给所述邻域像素点的信息。5.如权利要求1或2所述的双目图像处理方法，其特征在于，采用K-means算法对所述第一图像进行图像分割，所述K-means算法中，为每个像素点在一定距离范围内寻找距离最近的簇中心。6.如权利要求5所述的双目图像处理方法，其特征在于，所述寻找距离最近的簇中心的计算参数包含：距离和颜色强度。7.如权利要求1所述的双目图像处理方法，其特征在于，通过可信度测量对每一子图像内的像素点进行判断，确定稳定像素点和非稳定像素点。8.如权利要求1或7所述的双目图像处理方法，其特征在于，利用平面拟合对每一子图像中...

【专利技术属性】
技术研发人员：郭鑫，周宇，余志强，徐洪波，贺遥，阳志文，
申请(专利权)人：上海兴芯微电子科技有限公司，
类型：发明
国别省市：上海,31