多相机同步采集图像的方法及设备技术

本申请涉计算机视觉技术领域，提供一种多相机同步采集图像的方法及设备，考虑到深度相机没有硬件同步接口，无法直接接收与多个工业相机同步曝光的硬件同步信号，因此，借助LED灯实现深度相机与多个工业相机的同步曝光，通过深度相机采集的LED灯的图像，获取反应深度相机曝光信息的目标参数集合，由于工业相机具备硬件同步接口，可通过控制信号控制器将深度相机的目标参数集合发送给多个工业相机，从而实现多个工业相机与深度相机的同步曝光，这样，基于同步曝光后的深度相机和多个工业相机，采集用于训练手部关键点估计模型的3D手势数据集，从而提高3D手势数据的标注质量，进而提升手部模型的真实性，提升用户的沉浸式体验。提升用户的沉浸式体验。提升用户的沉浸式体验。

【技术实现步骤摘要】
多相机同步采集图像的方法及设备


[0001]本申请涉及计算机视觉
，提供一种多相机同步采集图像的方法及设备。

技术介绍

[0002]随着虚拟现实(Virtual Realiyy，VR)技术的发展，其应用场景越来越广泛。在虚拟场景中，通过手势技术精准地还原手部3D姿势，以准确地表达虚拟人物手部表述的含义，或者准确地做出相应的手部动作，而手势技术的延迟性、混乱性取决于神经网络模型的性能，大量的、高质量的手势标注数据是手部检测模型和手势关节点估计模型性能提升的重要支撑。
[0003]由于3D手势数据是复杂的，人工标注成本相对较高，且标注质量不尽人意。为了提高3D手势数据的标注效率，目前大多采用深度相机生成手势3D模型再投影到工业相机产生标注数据的自动标注方法，这就需要深度相机和工业相机同步曝光。然而，深度相机不具备硬件同步接口，因此，目前仅采用软同步方法实现深度相机和工业相机的同步曝光，其中，软同步是指搜集时间戳接近的一组图像作为同步结果，同步精度较低，无法满足同步曝光的3D手势数据的采集要求，进而无法还原出真实、自然的3D手部姿势，影响沉浸式体验。
[0004]因此，需要提供一种通过实现深度相机和工业相机的同步曝光来提高3D手势数据的标注质量。

技术实现思路

[0005]本申请实施例提供了一种多相机同步采集图像的方法及设备，用于提高3D手势数据的标注质量。
[0006]一方面，本申请实施例提供一种多相机同步采集图像的方法，包括：
[0007]通过信号控制器控制深度相机视野内的LED灯连续闪烁，并获取所述深度相机采集的所述LED灯的多帧RGB图像；
[0008]根据所述深度相机采集的多帧RGB图像，确定所述LED灯与所述深度相机同步的目标参数集合，并清空所述RGB图像；
[0009]控制所述信号控制器将所述目标参数集合发送给多个工业相机，并设置所述LED灯为单次闪烁；
[0010]根据所述深度相机采集的所述LED灯单次亮起的RGB图像的时间戳，以及每个工业相机采集的RGB图像的时间戳，确定所述深度相机与每个工业相机之间同步曝光的时间关系以进行图像采集。
[0011]另一方面，本申请实施例提供一种3D图像采集设备，包括处理器、存储器、USB虚拟串口，数据接口；所述数据接口、所述USB虚拟串口，所述存储器与所述处理器通过总线连接；
[0012]所述存储器包括数据存储单元和程序存储单元，所述程序存储单元存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：
[0013]通过所述USB虚拟串口向所述信号控制器发送第一控制指令，以使所述信号控制器控制深度相机视野内的LED灯连续闪烁；
[0014]通过所述数据接口，获取所述深度相机采集视野内的所述LED灯的多帧RGB图像，并存储于所述数据存储单元；
[0015]根据所述深度相机采集的多帧RGB图像，确定所述LED灯与所述深度相机同步的目标参数集合，并清空所述数据存储单元中存储的所述RGB图像；
[0016]通过所述USB虚拟串口将所述目标参数集合发送给所述信号控制器，以使所述信号控制器将所述目标参数集合发送给多个工业相机，并通过所述USB虚拟串口向所述信号控制器发送第二控制指令，以使所述信号控制器控制所述LED灯单次闪烁；
[0017]通过所述数据接口，分别获取所述深度相机采集的所述LED灯单次闪烁的多帧RGB图像，和每个工业相机采集的RGB图像；
[0018]根据所述深度相机采集的所述LED灯单次亮起的RGB图像的时间戳，以及每个工业相机采集的RGB图像的时间戳，确定所述深度相机与每个工业相机之间同步曝光的时间关系以进行图像采集。
[0019]另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行本申请实施例提供的多相机同步采集图像的方法。
[0020]本申请实施例提供的一种多相机同步采集图像的方法及设备中，考虑到深度相机没有硬件同步接口，无法直接接收与多个工业相机同步曝光的硬件同步信号，因此，借助LED灯实现深度相机与多个工业相机的同步曝光，通过深度相机采集的LED灯的图像，获取反应深度相机曝光信息的LED灯的目标参数集合，由于工业相机具备硬件同步接口，可通过控制信号控制器将LED灯的目标参数集合发送给多个工业相机，从而实现多个工业相机与深度相机的同步曝光，这样，基于同步曝光后的深度相机和多个工业相机，采集用于训练手部关键点估计模型的3D手势数据集，从而提高3D手势数据的标注质量，进而提升手部模型的真实性，提升用户的沉浸式体验。
附图说明
[0021]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0022]图1A为本申请实施例提供的从图像中还原3D手势的效果图；
[0023]图1B为本申请实施例提供的另一从图像中还原3D手势的效果图；
[0024]图2为本申请实施例提供的手部关键点示意图；
[0025]图3为本申请实施例提供的图像采集系统的架构图；
[0026]图4为本申请实施例提供的深度相机与LED灯的位置关系图；
[0027]图5为本申请实施例提供的单片机、LED灯、工业相机三者的信号波形图；
[0028]图6为本申请实施例提供的LED灯的参数与RGB图像中暗条纹的关系图；
[0029]图7为本申请实施例提供的深度相机与多个工业相机同步曝光的方法流程图；
[0030]图8为本申请实施例提供的确定LED灯的目标参数集合的方法流程图；
[0031]图9为本申请实施例提供的确定LED灯的目标帧率的方法流程图；
[0032]图10为本申请实施例提供的确定LED灯的目标相位的方法流程图；
[0033]图11为本申请实施例提供的深度相机采集的LED灯单次闪烁的相邻两帧图像；
[0034]图12为本申请实施例提供的利用同步曝光的深度相机与多个工业相机采集图像的方法流程图；
[0035]图13为本申请实施例提供的多个相机同步采集图像的完整方法流程图；
[0036]图14为本申请实施例提供的主机的结构图。
具体实施方式
[0037]为清楚描述本申请的实施例，下面对本申请的名词给出解释说明。
[0038]软同步：是指搜集时间戳接近的一组图像作为同步结果。
[0039]硬同步：是指通过外部触发信号使多个相机同一时刻曝光(即进行图像采集)，需要所有相机具备硬件同步接口以及配备同步信号发生装置。
[0040]深度相机：包含一个RGB传感器和深度传感器，可以同步采集RGB图像和深度图像。一般不具备硬件同步接口。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多相机同步采集3D图像的方法，其特征在于，包括：通过信号控制器控制深度相机视野内的LED灯连续闪烁，并获取所述深度相机采集的所述LED灯的多帧RGB图像；根据所述深度相机采集的多帧RGB图像，确定所述LED灯与所述深度相机同步的目标参数集合，并清空所述RGB图像；控制所述信号控制器将所述目标参数集合发送给多个工业相机，并设置所述LED灯为单次闪烁；根据所述深度相机采集的所述LED灯单次亮起的RGB图像的时间戳，以及每个工业相机采集的RGB图像的时间戳，确定所述深度相机与每个工业相机之间同步曝光的时间关系以进行图像采集。2.如权利要求1所述的方法，其特征在于，确定所述深度相机与每个工业相机之间同步曝光的时间关系后，所述方法还包括：控制所述信号控制器停止向所述LED灯发送控制信号，并持续向所述多个工业相机发送硬件同步信号，使得相应的工业相机按照所述目标参数集合与所述深度相机同步曝光；根据所述深度相机与每个工业相机之间同步曝光的时间关系，获取所述深度相机和每个工业相机同步曝光的手部图像对并保存；确定所述深度相机与每个工业相机同步曝光的时限是否超过设定的时限阈值；若超过，则重新确定所述深度相机与每个工业相机之间同步曝光的时间关系，以减小所述深度相机和每个工业相机同步曝光的累积时间误差，并根据重新确定的同步曝光的时间关系，继续获取所述深度相机和每个工业相机同步曝光的手部图像对并保存；针对保存的每一组手部图像对，根据所述手部图像对中所述深度相机采集的手部图像，生成手部三维模型，将所述手部三维模型投影到所述手部图像对中相应的工业相机同步曝光的手部图像中，获得相应的3D手势；根据多组手部图像对中每个工业相机采集的手部图像和相应的3D手势，生成用于训练手部关键点估计模型的3D手势数据集。3.如权利要求1所述的方法，其特征在于，所述目标参数集合至少包括目标帧率和目标相位，根据所述深度相机采集的多帧RGB图像，确定所述LED灯与所述深度相机同步的目标参数集合，包括：对多帧RGB图像进行暗条纹检测，确定所述深度相机的采集帧率，并将所述采集帧率作为目标帧率设置给LED灯，使得LED灯以所述目标帧率进行连续闪烁；获取所述深度相机采集的所述LED灯以所述目标帧率、不同相位连续闪烁的RGB图像，将图像顶部出现所述暗条纹的RGB图像对应的相位，确定为所述LED灯的目标相位；将所述目标帧率和所述目标相位作为所述LED灯与所述深度相机同步的目标参数集合。4.如权利要求3所述的方法，其特征在于，所述对多帧RGB图像进行暗条纹检测，确定所述深度相机的采集帧率，包括：根据多帧RGB图像的时间戳，确定所述深度相机的采样周期，并将所述采样周期作为所述LED灯的闪烁周期；对多帧RGB图像进行所述LED灯的暗条纹检测，根据所述暗条纹分别在RGB图像中的行
号，确定所述暗条纹的滚动方向；根据所述暗条纹首次出现在图像顶部的图像帧号，以及所述暗条纹回到首次位置时的图像帧号，确定所述深度相机的采集帧数；根据所述闪烁周期、所述采集帧数和所述滚动方向，确定所述深度相机的采集帧率。5.如权利要求4所述的方法，其特征在于，所述深度相机的采集帧率的计算公式为：其中，f
rgb
表示所述深度相机的采集帧率，T
led
表示所述LED灯的闪烁周期，n表示所述深度相机的采集帧数，当所述暗条纹的滚动方向向下时，取减号，当所述暗条纹的滚动方向向上时，取加号。6.如权利要求3所述的方法，其特征在于，所述获取所述深度相机采集的所述LED灯以所述目标帧率、不同相位连续闪烁的RGB图像，包括：读取所述深度相机采集的所述LED的初始相位对应的当前RGB图像，检测所述当前RGB图像的顶部是否出现所述暗条...

【专利技术属性】
技术研发人员：史灿灿，
申请(专利权)人：海信电子科技深圳有限公司，
类型：发明
国别省市：