一种搜索并行GPU加速的激光散斑图像深度感知方法技术

本发明专利技术公开了一种搜索并行GPU加速的激光散斑图像深度感知方法。将输入激光散斑图像划分成图像并行块，按一个GPU线程块对应处理一个图像并行块，所有的图像并行块可按以下步骤同时进行匹配和深度计算，从而实现搜索并行GPU加速。具体过程：图像并行块对应的GPU线程块先进行自适应预处理，再在图像并行块中提取输入图像块在参考激光散斑图的搜索窗中以一定的搜索匹配方法寻找其最优匹配块，得到该输入图像块与最优匹配块之间的偏移量，即视差值，按一个线程对应一次输入图像块与匹配块的计算，最后根据深度计算公式得到该输入图像块中心像素对应的深度值。

【技术实现步骤摘要】

本专利技术设及图像处理、软件工程领域，具体设及一种捜索并行GPU加速的激光散 斑图像深度感知方法。
技术介绍
在消费电子领域，深度感知技术有助于提高电子产品的智能水平和交互能力，帮 助智能终端理解人类动作，成为"现实物理世界"与"虚拟网络世界"交互手段之一，不仅可 W在智能电视、智能手机、家电、平板PC等领域实现创新应用，也可用于智能视频监控、面 部识别系统、=维动画制作、动态场景检测、3D地图实时生成等=维重建场合。在工业领域， 高分辨率、高精度的=维深度信息在汽车辅助安全驾驶、高速机床加工、工业建模、3D打印、 医疗成像、物联网3D视觉感知、机器人操控等领域有着广泛的应用需求。 基于结构光主动视觉模式的深度感知技术（激光投射器主动投射散斑图形 化ttern、图像传感器采集散斑图像）可W较为准确地获取图像的深度信息。该模式相比双 目立体摄像头，通过编码结构光主动对投射物或投射空间进行特征标定，所获取的图像深 度信息具有更稳定可靠、受环境光影响更小、匹配过程不受物体纹理信息的影响等优势。如 微软Kinect，其通过主动投射激光散斑图像进行特征标定，由红外摄像头采集图像序列，再 由深度感知专用巧片计算获取深度信息。 GPU (Graphics Processing Unit)作为高性能图形计算单元，作为硬件加速引擎， 比CPU更适合处理算术计算密度高的并行计算问题，计算效率更高、时延更短。结构光深度 感知技术获取深度图的重要步骤是激光散斑图像块匹配计算，该过程属于算术计算密度高 的并行计算问题，适合采用GPU作为计算加速单元。相比专用巧片方式，GPU可灵活编程实 现，开发周期短、投入成本低，而且便于移植到不同的硬件平台（如手持移动终端）和不同 的操作系统上实现。通过GPU加速实现深度感知、实时生成深度信息，而非采用专用巧片将 成为智能设备集成深度感知技术的发展方向。
技术实现思路
针对开发专用巧片获取图像深度信息的方式存在开发周期长、投入大、应用缺乏 灵活等问题，本专利技术提供了一种捜索并行GPU加速的激光散斑图像深度感知方法。该方法 先将输入激光散斑图像划分成一定数量和大小的图像并行块，按一个GPU线程块（包含多 个线程）对应一个图像并行块方式进行并行处理；GPU线程块首先对图像并行块进行自适 应预处理；再对图像并行块中提取的输入图像块在参考激光散斑图的捜索窗中W-定的捜 索匹配方法寻找对应的最优匹配块，得到该输入图像块与最优匹配块之间的偏移量，即视 差值（Ax，Ay),其中一个线程对应一次输入图像块与匹配块的计算；所得到的偏移量结 合参考激光散斑图的已知距离t基线距离S、图像传感器焦距f和点距y，根据深度计算公 式计算得到该输入图像块中屯、像素对应的深度值d';并由同一线程块完成该图像并行块 中所有输入图像块的深度计算。于此同时，划分出的图像并行块通过各自对应的GPU线程 块进行并行深度计算，从而实现输入激光散斑图像深度感知计算的GPU加速。 根据本专利技术的一种捜索并行GPU加速的激光散斑图像深度感知方法，包括W下步 骤： 步骤1 ;将输入激光散斑图像划分成一定数量和大小的图像并行块，按一个GPU线 程块（由多个线程组成）对应一个图像并行块方式进行划分和处理；[000引步骤2 ;由GPU线程块对其对应的图像并行块进行自适应预处理； 步骤3 ;通过GPU线程块对图像并行块中提取的输入图像块在参考激光散斑图的 捜索窗中通过捜索匹配方法寻找对应的最优匹配块，并计算得到该输入图像块与最优匹配 块之间的偏移量； 步骤4 ;所得到的偏移量根据深度计算公式计算得到该输入图像块中屯、像素对应 的深度值d';并由同一线程块完成该图像并行块中所有输入图像块的深度计算，划分出的 图像并行块通过各自对应的GPU线程块进行深度计算，进而获得输入激光散斑图像的深度 图。 本专利技术利用GPU的并行计算实现了激光散斑图像的深度信息的计算加速，可使智 能设备实时生成高分辨率、高精度的深度图序列，并可灵活编程实现或移植到不同的硬件 平台、操作系统上，大幅降低智能设备利用其已有的处理器集成深度感知技术的口槛。采用 本专利技术技术方案的有益效果还将通过W下实施例的阐述而得到具体的体现。【附图说明】 图1是捜索并行GPU加速的激光散斑图像深度感知方法整体流程图； 图2是激光散斑图像分块示意图； 图3是激光散斑图像全捜索块匹配方法示意图； 图4是捜索并行GPU加速方法原理图； 图5是全捜索块匹配方法进行捜索并行GPU加速的流程图； 图6是深度计算方法原理图。【具体实施方式】 下面结合附图1至6对本专利技术进行进一步的详细说明。 图1示意性图示了本专利技术捜索并行GPU加速的激光散斑图像深度感知方法的整体 流程。为了清楚说明，下文中将结合图2、图3、图4、图5来描述该方法。 步骤1 ;将输入激光散斑图像划分成一定数量和大小的图像并行块，按一个GPU线 程块（由多个线程组成）对应一个图像并行块的方式进行划分和处理。其中输入激光散斑 图像由激光散斑投射采集模块获得，该模块由激光散斑投射器和图像传感器构成，通过激 光散斑投射器主动投射固定模式的散斑图形化ttern，由图像传感器实时采集散斑图像序 列。 一个线程块负责一个图像并行块的匹配工作，图像并行块之间无数据传输。根据 GPU的计算能力，将线程块数目Block_Num设为MX N，则GPU调用一次内核函数处理MX N个 图像并行块。假如输入激光散斑图像大小为WXH，如图2所示，根据Block_Num为MXN，即 划分出图像并行块数目为MXN，则划分出的图像并行块大小为wXh。其中，W = W/M，h = H/No 步骤2 ;GPU线程块对其对应的图像并行块进行自适应预处理。 自适应预处理包括输入视频格式转换（如Bayer、口U601、ITU656、MIPI接口格式 转换）、色度空间转换（如RGB转YUV)、灰度图像自适应去噪和增强、灰度图像二值化（0、1 表示，1对应散斑点）等。通过对输入激光散斑图像的预处理，使散斑图像更清晰，减少噪声 干扰，并实现输入散斑图像序列的一致性增强，消除光照影响。 步骤3 ;通过线程块对图像并行块中提取的一定大小的输入图像块在参考激光散 斑图当前第1页1 2 本文档来自技高网...

【技术保护点】
一种搜索并行GPU加速的激光散斑图像深度感知方法，优选的，包括以下步骤：1)将输入激光散斑图像划分成一定数量和大小的图像并行块，按一个GPU线程块对应一个图像并行块的方式进行划分和处理；2)GPU线程块对其对应的图像并行块进行自适应预处理；3)通过GPU线程块对图像并行块中提取的一定大小的输入图像块在参考激光散斑图的搜索窗中通过搜索匹配方法寻找对应的最优匹配块，并计算该输入图像块与最优匹配块之间的偏移量；4)所述偏移量根据深度计算公式计算得到该输入图像块中心像素对应的深度值，同一线程块完成该图像并行块中所有输入图像块的深度计算，其它图像并行块通过各自对应的GPU线程块并行进行匹配和深度计算，进而获得输入激光散斑图像的深度图。

【技术特征摘要】

【专利技术属性】
技术研发人员：葛晨阳，王菁，张晨，杨意，伦建坤，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61