基于多Kinect协同的深度阈值分割算法识别轮廓交互方法技术

本发明专利技术公开一种基于多Kinect协同的深度阈值分割算法识别轮廓交互技术，主要步骤为：(1)多Kinect协同，在一台控制主机上同时驱动多台Kinect深度传感器，并将采集到的信息进行校正；(2)基于深度阈值分割的用户识别与定位，采集场景的深度信息对深度信息进行处理和筛选，计算用户的位置；(3)通过边缘融合展现轮廓互动，以模拟流体边缘融合或分离的方式展现不同个体间发生的互动，采用一种基于空间分布特征的图形绘制方法，绘制出带有流体边缘融合效果的图形。本发明专利技术结合体感设备，绘制边缘融合图形，能够实时的、生动的对用户的行为进行反馈，使得用户体验大大提升，此外，本发明专利技术的不受场景空间大小的限制，能够适用于多种交互式体验，包括交互式地板、交互式墙壁等。

【技术实现步骤摘要】

本专利技术属于计算机视觉、体感交互领域的技术，具体涉及一种基于多台Kinect传感器通过轮廓互动反映人机交互的方法。
技术介绍
体感交互技术是指通过用户的肢体隔空操控计算机，代替以往传统的鼠标和键盘等输入控制设备，使得人机交互的空间更加广阔，操控更加自由，方式也更加灵活。体感交互作为一个新兴的领域，已经逐渐步入了人类的视野，并且日趋火爆，在游戏、医疗、零售、以及商业产品推广等领域都有着十分广泛的应用前景。由于体感传感器硬件条件的限制，目前已有的体感交互产品大都只单独依靠一台体感传感设备进行信息采集，虽然可以在家庭或特定有限面积的场景中得到有效应用，但是应用空间十分有限，尤其是在面对大场景时，往往无法达到预期效果。因此，通过研究同时利用多台体感传感设备有效扩展应用空间，对今后体感交互产品的发展有着十分重要的意义。与此同时，通过多台体感传感设备采集信息时，就需要将通过不同传感设备采集到的信息进行标定和融合，传统的标定方式仅能处理同一景深的图像，面对体感传感器采集到的带有深度内容的体感信息，研究一种根据深度进行自适应调整的标定方式有着十分重要的意义。除此之外，一种生动新颖的表现形式对体感交互应用也有着十分重要的意义。在日常生活中，流体在相互融合或分离时由于表面张力的影响，其轮廓会呈现出一种奇妙的融合过程，在图形学领域，人们一直试图利用计算机去模拟这种真实的现象，但是对于这种复杂的流体效果，必须借助精确的物理方程和繁琐的计算才能呈现出其运动规律和视觉效果，然而，由于其计算的过程的复杂性，也就导致其应用中规模的局限性。为了能在大规模应用中，给用户带来要流畅的体验，因此，研究一种高效的边缘融合绘制方法，在体感交互
有重要意义。目前，在图形学领域对于流体边缘融合的模拟已经十分成熟，但其主要工作都围绕着真实感和实时性的提升。Blinn等人提出了一种通用的流体轮廓融合模型，使用图形学方式绘制流体表面轮廓的融合现象，但只绘制表面的变化过程。Y.Kanamori等人提出了一种基于GPU加速的大规模流体融合模拟，这种方式采用基于观察者目光射线的方式有选择的绘制大规模流体轮廓融合的方法，并采用GPU加速。由上述的方法可以看出，流体轮廓融合的模拟都集中在真实感和实时性的提升上，并未把流体模拟应用到体感交互领域。随着人机交互领域的蓬勃发展，体感应用作为一种全新的人机交互方式迫切需要更加丰富和生动的表现形式，将流体轮廓融合作为一种人机交互的反馈形式，可以极大丰富用户的视觉体验，因此，将基于轮廓交互的图形边缘融合效果应用到体感交互领域具有重要意义。
技术实现思路
(一)要解决的技术问题本专利技术所要解决的技术问题是提供一套完整的体感交互应用技术，通过互动式边缘融合效果来反映体感交互的过程，并扩展使用空间的面积，将体感交互方式与流体轮廓互动效果紧密结合起来，以提供一种新颖生动的人机交互的表现形式。(二)技术方案为完成以上目标，本专利技术提出了基于多Kinect协同的深度阈值分割算法识别轮廓交互技术，包括以下步骤：(1)多Kinect协同，在一台控制主机上同时驱动多台Kinect深度传感器，并将采集到的信息进行校正；(2)基于深度阈值分割的用户识别与定位，采集场景的深度信息对深度信息进行处理和筛选，计算用户的位置；(3)通过边缘融合展现轮廓互动，以模拟流体边缘融合或分离的方式展现不同间发生的互动，采用一种基于空间分布特征的图形绘制方法，绘制出带有流体边缘互动效果的图形。本专利技术的技术方案如下：一种基于多Kinect协同的深度阈值分割算法识别轮廓交互技术，包括以下步骤：多Kinect协同，为满足大场景的需要，在一台控制主机上同时驱动多台Kinect深度传感器，并将采集到的信息进行校正并融合；基于深度阈值分割的用户识别与定位，采集场景的深度信息对深度信息进行处理和筛选，计算用户的位置；通过边缘融合展现轮廓互动，以模拟流体边缘融合或分离的方式展现不同个体间发生的互动，采用一种基于空间分布特征的图形绘制方法，绘制出带有流体边缘融合效果的图形，并进行显示。进一步的，根据应用场景的实际大小，在一台控制主机上同时驱动多台Kinect深度传感器；根据彩色信息进行标定，并计算不同Kinect之间的变换矩阵；对深度信息进行校正与融合，根据变换矩阵，对采集到的深度信息进行校正，克服由于来自不同Kinect而导致的畸变。进一步的，同时驱动多台Kinect的步骤为：通过实际应用场景确认部署Kinect数量，在同一台主机控制器上同时驱动多台Kinect设备，为了方便后续计算，在Kinect摆放时，尽量使每台Kinect都保持水平，且不同Kinect位于同一水平线上。进一步的，所述多Kinect标定的步骤如下：单独开启Kinect的RGBA视频流，获取场景的彩色信息；使用棋盘格进行标定，检测彩色图像中的棋盘格的位置，为了方便后续计算，在摆放棋盘格时，应使棋盘格尽量保持水平；根据棋盘格在来自不同Kinect彩色图中的位置关系，计算不同Kinect之间的变换矩阵M=m11m12m13m21m22m23m31m32m33,]]>其中，mij表示通过图像点坐标与空间点坐标线性求解得到的单应矩阵各个元素的数值。由于Kinect和棋盘格摆放水平，计算所得的变化矩阵M中m12、m21、m31、m32近似为0，m11、m22、m33近似为1，因此，变换矩阵可以写作M=10cx01cy001,]]>其中，cx与cy表示简化后单应矩阵的元素值。进一步的，所述深度信息校正与融合的步骤包括：对来自不同Kinect的深度信息进行校正和融合；通过计算所得的不同Kinect彩色图之间的变换矩阵M=10cx01cy001,]]>计算不同深度图之间的变换关系q＝MQ，其中M=10cx01cy001]]>表示简化后的变换矩阵，Q=XYZ]]>表示变换前的图像坐标，X表示横坐标参数，Y表示纵坐标参数，Z表示到摄像机的距离，q=xyw]]>表示变换后的图像坐标，x表示横坐标参数，y表示纵坐标参数，w表示齐次坐标系参数，且w＝Z，根据深度变换方程，水平偏移量竖直偏移量求解不同深度下，水平和竖直方向的位移变换，其中k为深度映射常数，Vdepth为深度值，cx与cy表示简化后单应矩阵的元素值，将位移变换后的深度图进行融合，可以获得完整的场景深度信息。进一步的，基于深度阈值分割的用户识别与定位的步骤包括：将融合后的场景深度图转换为单通道灰度图形式；对转换后的深度图进行阈值分割；对阈值分割后的图像进行筛选，进行用户识别和定位。进一步的，将融合后的场景深度图转换为单通道灰度图形式，步骤包括：利用融合操作后的完整场景深度信息，结合深度值与灰度值的映射方程G(x,y)＝C(1-Vdepth(x,y)/Dmax)，求解场景中相应位置深度信息对应的灰度值，其中，C为颜色空间分布常数，Vdepth(x,y)为相应位置的深度值，Dmax为最大深度。可本文档来自技高网...

【技术保护点】
一种基于多Kinect协同的深度阈值分割算法识别轮廓交互技术，包括以下步骤：多Kinect协同，为满足大场景的需要，在一台控制主机上同时驱动多台Kinect深度传感器，并将采集到的信息进行校正并融合；基于深度阈值分割的用户识别与定位，采集场景的深度信息对深度信息进行处理和筛选，计算用户的位置；通过边缘融合展现轮廓互动，以模拟流体边缘融合或分离的方式展现不同个体间发生的互动，采用一种基于空间分布特征的图形绘制方法，绘制出带有流体边缘融合效果的图形，并进行显示。

【技术特征摘要】
1.一种基于多Kinect协同的深度阈值分割算法识别轮廓交互技术，包括以
下步骤：
多Kinect协同，为满足大场景的需要，在一台控制主机上同时驱动多台
Kinect深度传感器，并将采集到的信息进行校正并融合；
基于深度阈值分割的用户识别与定位，采集场景的深度信息对深度信息进行
处理和筛选，计算用户的位置；
通过边缘融合展现轮廓互动，以模拟流体边缘融合或分离的方式展现不同个
体间发生的互动，采用一种基于空间分布特征的图形绘制方法，绘制出带有流体
边缘融合效果的图形，并进行显示。
2.如权利要求1所述的方法，其特征在于多Kinect协同的步骤包括：
根据应用场景的实际大小，在一台控制主机上同时驱动多台Kinect深度传
感器；
根据彩色信息进行标定，并计算不同Kinect之间的变换矩阵；
对深度信息进行校正与融合，根据变换矩阵，对采集到的深度信息进行校正，
克服由于来自不同Kinect而导致的畸变。
3.如权利要求2所述的方法，其特征在于，同时驱动多台Kinect的步骤为：
通过实际应用场景确认部署Kinect数量，在同一台主机控制器上同时驱动多台
Kinect设备，为了方便后续计算，在Kinect摆放时，尽量使每台Kinect都保持
水平，且不同Kinect位于同一水平线上。
4.如权利要求2所述的方法，其特征在于，所述多Kinect标定的步骤如下：
单独开启Kinect的RGBA视频流，获取场景的彩色信息；
使用棋盘格进行标定，检测彩色图像中的棋盘格的位置，为了方便后续计算，
在摆放棋盘格时，应使棋盘格尽量保持水平；
根据棋盘格在来自不同Kinect彩色图中的位置关系，计算不同Kinect之间
的变换矩阵M=m11m12m13m21m22m23m31m32m33,]]>其中，mij表示通过图像点坐标与空间点坐
标线性求解得到的单应矩阵各个元素的数值。由于Kinect和棋盘格摆放水平，
计算所得的变化矩阵M中m12、m21、m31、m32近似为0，m11、m22、m33近
似为1，因此，变换矩阵可以写作M=10cx01cy001,]]>其中，cx与cy表示简化后
单应矩阵的元素值。
5.如权利要求2所述的方法，其特征在于，所述深度信息校正与融合的步
骤包括：
对来自不同Kinect的深度信息进行校正和融合；通过计算所得的不同Kinect

\t彩色图之间的变换矩阵M=10cx01cy001,]]>计算不同深度图之间的变换关系
q＝MQ，其中M=10cx01cy001]]>表示简化后的变换矩阵，Q=XYZ]]>表示变换前
的图像坐标，X表示横坐标参数，Y表示纵坐标参数，Z表示到摄像机的距离，
q=xyw]]>表示变换后的图像坐标，x表示横坐标参数，y表示纵坐标参数，w表
示齐次坐标系参数，且w＝Z，根据深度变换方程，水平偏移量竖直偏移量求解不同深度下，水平和竖直方向的位移变换，其中
k为深度映射常数，Vdepth为深度值，cx与cy表示简化后单应矩阵的元素值，将
位移变换后的深度图进行融合，可以获得完整的场景深度信息。
6.如权利要求1所述的方法，其特征在于基于深度阈值分割的用户识别与
定位的步骤包括：
将融合后的...

【专利技术属性】
技术研发人员：沈文，杨林，
申请(专利权)人：北京中科盘古科技发展有限公司，
类型：发明
国别省市：北京;11