图像采集系统、方法、计算设备和存储介质技术方案

本发明专利技术提供一种图像采集系统、方法、计算设备和存储介质，该系统包括：第一图像采集装置，用于采集目标对象的至少两帧深度图像；多个第二图像采集装置，用于采集所述目标对象的多个不同角度的图像；控制器，用于根据所述至少两帧深度图像确定所述目标对象的位移，以及根据所述位移控制所述多个第二图像采集装置跟随所述目标对象分别进行偏转，以使所述目标对象至少处于所述多个第二图像采集装置的公共视场范围之内，并控制所述多个第二图像采集装置采集所述目标对象的多个不同角度的图像。利用第一图像采集装置获取目标对象的位移，控制多个第二图像采集装置跟随目标对象偏转，使得目标对象可以有更大的活动范围，为使用者带来更好的使用体验。来更好的使用体验。来更好的使用体验。

【技术实现步骤摘要】
图像采集系统、方法、计算设备和存储介质


[0001]本专利技术涉及全息成像
，尤其涉及一种图像采集系统、方法、计算设备和存储介质。

技术介绍

[0002]3D显示器是一种面向未来的沉浸式的显示器，目前正在发展阶段。相关技术中，会在3D显示器的边框一圈固定4
‑
6个RGB或RGBD相机，用于不同视角下人物图像数据的采集，将采集到的图像数据经过编码之后送到神经网络模型进行人物的立体重建。
[0003]然而，这些摄像头的安装位置和安装角度都是固定的，这就导致使用者只能在这些摄像头的光轴交会点的很小范围内活动，如果活动范围过大，则很容易超出某个摄像头的画面范围，导致图像数据缺失。而且，由于当前的神经网络模型都是利用固定位置的摄像头采集的图像数据进行训练得到的，所以在使用过程中，摄像头的位置和角度也得固定不变，使用者只有在这些摄像头的光轴交会点的很小范围内活动，摄像头所采集的图像才可以用于通过神经网络模型进行3D重建，否则就会重建失败，导致对方无法看到完整的3D图像。这就使得使用者必须长时间保持一个姿势，影响使用体验，也影响技术的推广。
[0004]因此，需要一种新的图像采集系统，以至少解决上述问题。

技术实现思路

[0005]本专利技术的主要目的是提供一种图像采集系统、方法、计算设备和存储介质，以增大图像采集对象的活动范围。
[0006]本专利技术提供一种图像采集系统，包括：第一图像采集装置，用于采集目标对象的至少两帧深度图像；多个第二图像采集装置，用于采集目标对象的多个不同角度的图像；控制器，用于根据至少两帧深度图像确定目标对象的位移，以及根据位移控制多个第二图像采集装置跟随目标对象分别进行偏转，以使目标对象至少处于多个第二图像采集装置的公共视场范围之内，并控制多个第二图像采集装置采集目标对象的多个不同角度的图像。
[0007]在一实施例中，第一图像采集装置的水平视场角不小于120
°
，和/或，其垂直视场角不小于90
°
。
[0008]在一实施例中，还包括：第一云台，第一云台与第一图像采集装置机械连接，以带动第一图像采集装置偏转；控制器还用于，根据位移控制第一云台运动，以使第一云台带动第一图像采集装置跟随目标对象进行偏转。
[0009]在一实施例中，还包括：多个第二云台，多个第二云台与多个第二图像采集装置一一对应机械连接，以带动多个第二图像采集装置分别进行偏转；控制器还用于，根据目标对象的位移控制多个第二云台运动，以使多个第二云台带动多个第二图像采集装置跟随目标对象分别进行偏转。
[0010]在一实施例中，每个第二云台包括至少三个旋转自由度。
[0011]在一实施例中，控制器还用于，针对每帧深度图像，获取目标对象的像素坐标和深
度值，根据目标对象的像素坐标和深度值确定目标对象在第一图像采集装置的三维坐标系中的三维坐标；根据至少两帧深度图像各自对应的目标对象的三维坐标，确定目标对象的位移。
[0012]在一实施例中，目标对象包括目标人体；控制器还用于，对每帧深度图像依次进行灰度化处理和二值化处理，得到至少两张二值化图像，并分别提取该至少两张二值化图像中目标人体的轮廓图像，在轮廓图像中选择参考点，将参考点在至少两帧深度图像中的位置变化作为目标对象的位移。
[0013]在一实施例中，参考点包括目标人体的颈部中心点。
[0014]在一实施例中，控制器还用于，根据位移确定多个第二图像采集装置各自的偏转角度，控制多个第二图像采集装置按照各自的偏转角度分别进行偏转。
[0015]在一实施例中，控制器还用于，针对每个第二图像采集装置，基于预先标定的该第二图像采集装置相对于第一图像采集装置的三维坐标系的外参数，确定位移在该第二图像采集装置的三维坐标系中的位移投影；根据该第二图像采集装置的三维坐标系的法向量以及位移投影，确定该第二图像采集装置的偏转角度。
[0016]在一实施例中，控制器还用于，根据该第二图像采集装置的三维坐标系的法向量沿位移投影的位移等同于法向量绕各个坐标轴旋转，确定该第二图像采集装置的偏转角度。
[0017]在一实施例中，控制器还用于，根据多个第二图像采集装置各自的偏转角度，更新多个第二图像采集装置相对于第一图像采集装置的外参数。
[0018]在一实施例中，控制器还用于，将目标对象的位移距离与预设距离阈值进行比较，在目标对象的位移距离超过预设距离阈值的情况下，再根据位移控制多个第二图像采集装置跟随目标对象分别进行偏转。
[0019]在一实施例中，控制器还用于，利用目标对象的多个不同角度的图像，生成目标对象的三维图像。
[0020]本专利技术提供一种图像采集方法，基于上述的图像采集系统，包括：获取目标对象的至少两帧深度图像；根据至少两帧深度图像确定目标对象的位移，以及根据位移控制多个第二图像采集装置跟随目标对象分别进行偏转，以使目标对象至少处于多个第二图像采集装置的公共视场范围之内；控制多个第二图像采集装置采集目标对象的多个不同角度的图像。
[0021]本专利技术提供一种计算设备，其特征在于，包括处理器和存储器，存储器中存储有计算机程序，当计算机程序被处理器执行时，实现上述的图像采集方法。
[0022]本专利技术提供一种存储介质，存储有计算机程序，当计算机程序被处理器执行时，实现上述的图像采集方法。
[0023]利用本实施例的图像采集系统，可以利用第一图像采集装置获取目标对象的位移，控制多个第二图像采集装置跟随目标对象偏转，使得目标对象可以有更大的活动范围，为使用者带来更好的使用体验。
附图说明
[0024]构成本申请的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示
意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定，在附图中：
[0025]图1为根据本申请一实施方式的图像采集系统的布置方式示意图；
[0026]图2为利用图1所示图像采集系统所得到的目标对象的活动范围与相关技术中目标对象的活动范围的对比示意图；
[0027]图3为根据本申请一具体实施方式的云台示意图；
[0028]图4为根据本申请一实施方式的确定目标对象在第一图像采集装置的三维坐标系中的三维坐标的示意图；
[0029]图5为根据本申请一实施方式的确定目标对象的位移的方法示意图；
[0030]图6A至图6C为根据本申请一实施方式的确定参考点的方法示意图；
[0031]图7为根据本申请一实施方式的利用所采集的不同角度的图像进行3D重建的神经网络模型示意图；
[0032]图8为根据本申请一实施方式的棋盘格的示意图；
[0033]图9为根据本申请一实施方式的图像采集方法的流程图。
具体实施方式
[0034]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。
[0035]本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像采集系统，其特征在于，包括：第一图像采集装置，用于采集目标对象的至少两帧深度图像；多个第二图像采集装置，用于采集所述目标对象的多个不同角度的图像；控制器，用于根据所述至少两帧深度图像确定所述目标对象的位移，以及根据所述位移控制所述多个第二图像采集装置跟随所述目标对象分别进行偏转，以使所述目标对象至少处于所述多个第二图像采集装置的公共视场范围之内，并控制所述多个第二图像采集装置采集所述目标对象的多个不同角度的图像。2.根据权利要求1所述的图像采集系统，其特征在于，所述第一图像采集装置的水平视场角不小于120
°
，和/或，其垂直视场角不小于90
°
。3.根据权利要求1所述的图像采集系统，其特征在于，还包括：第一云台，所述第一云台与所述第一图像采集装置机械连接，以带动所述第一图像采集装置偏转；所述控制器还用于，根据所述位移控制所述第一云台运动，以使所述第一云台带动所述第一图像采集装置跟随所述目标对象进行偏转。4.根据权利要求1所述的图像采集系统，其特征在于，还包括：多个第二云台，所述多个第二云台与所述多个第二图像采集装置一一对应机械连接，以带动所述多个第二图像采集装置分别进行偏转；所述控制器还用于，根据所述目标对象的位移控制所述多个第二云台运动，以使所述多个第二云台带动所述多个第二图像采集装置跟随所述目标对象分别进行偏转。5.根据权利要求4所述的图像采集系统，其特征在于，每个所述第二云台包括至少三个旋转自由度。6.根据权利要求1所述的图像采集系统，其特征在于，所述控制器还用于，针对每帧深度图像，获取所述目标对象的像素坐标和深度值，根据所述目标对象的像素坐标和深度值确定所述目标对象在所述第一图像采集装置的三维坐标系中的三维坐标；根据所述至少两帧深度图像各自对应的所述目标对象的三维坐标，确定所述目标对象的位移。7.根据权利要求1所述的图像采集系统，其特征在于，所述目标对象包括目标人体；所述控制器还用于，对每帧深度图像依次进行灰度化处理和二值化处理，得到至少两张二值化图像，并分别提取该至少两张二值化图像中目标人体的轮廓图像，在所述轮廓图像中选择参考点，将所述参考点在所述至少两帧深度图像中的位置变化作为目标对象的位移。8.根据权利要求7所述的图像采集系统，其特征在于，所述参考点包括所...

【专利技术属性】
技术研发人员：李治富，李文宇，苗京花，
申请(专利权)人：京东方科技集团股份有限公司北京京东方技术开发有限公司，
类型：发明
国别省市：