本发明专利技术公开了一种通过人体曲线图进行的沉浸式交互方法，针对现有的沉浸式交互领域技术缺陷，本发明专利技术提出一种通过人体轮廓曲线进行交互的方式，与人体分割技术比较像，跟其最大的不同之处在于：人体分割是将人的所有区域(包括躯干等)都识别出来，但是本技术只将人的轮廓曲线描绘出来，相比于前者具有更好的连续性特征，基于曲线的动作识别准确率更高，交互体验效果更好。人体轮廓曲线具有简洁连续地特点，即使身体曲线部分被遮挡，也可以凭借未被遮挡地部分和上一帧的曲线有效地进行动态还原，同时也不需要传感器等额外的硬件设备，进行沉浸式交互人数的多少完全是靠算法的能力支撑，因此来说降低了成本的同时也打破了适用环境的限制。环境的限制。环境的限制。
【技术实现步骤摘要】
通过人体曲线图进行的沉浸式交互方法、装置及存储介质
[0001]本专利技术涉及人机交互
，尤其涉及一种通过人体曲线图进行的沉浸式交互方法、装置及存储介质。
技术介绍
[0002]沉浸式交互可用于任何有交互需求的场景和领域中，例如：3D试衣、虚拟试妆、交互式自动售货机、体感游戏等等。现有的沉浸式交互系统主要通过两种方式来实现人机交互的目的：第一种，通过摄像头实时采集画面，再经由算法模块解析图片，得到图片中人的关键点信息，根据关键点的信息去判断人的肢体动作，该方法在人员稀疏的环境中效果较好，且实施交互的人员前面不能有其他人走动和遮挡的情况出现，否则即使采用目标人物定位和追踪的方式，也有极大概率丢失目标人员的关键点信息，进而对人体动作识别不准，达不到有效交互；第二种，以传感器作为人机交互的媒介，相较于第一种方法，不再受限于多人的因素，在它基础上的动作识别精度非常高，但是额外的传感器也变相增加了使用成本，同时适用场景也非常受限，尤其是对于大型开放式沉浸式场景，这种方式显然不太适用。
技术实现思路
[0003]本专利技术只需要一个RGB摄像头，即可捕捉到其视野范围中出现的人，通过人做出的特定动作进行识别，计算机相应去完成一些与该动作对应的指令，从而让人获得一种沉浸式场景体验。
[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术公开了一种通过人体曲线图进行的沉浸式交互方法，通过RGB摄像头获取视频信息，所述交互方法包括如下步骤：
[0005]步骤1，视频抽帧预处理，获取所述RGB摄像头的实时视频流，判断是否是有效帧，当判断为有效帧时，对所述有效帧采用直方图均衡化进行处理用以增强局部对比度，其次用行人检测技术获取每个人的抠图，最后分别用sober算子和canny算子对视频流有效帧中的每个人做边缘检测，以此得到每个人的两张边缘检测结果图；
[0006]步骤2，人体曲线刻画，构建人体曲线生成模型，将所述步骤1中的所述每个人的两张边缘检测结果图作为所述人体曲线生成模型的数据输入，并以此得到了每个人的轮廓曲线图，具体公式如下：
[0007]P＝G(φ(F
sober
(x)),φ(F
canny
(x)))
[0008]其中，x代表输入图片，G表示图片生成算法，φ为空集符号，在本公式中表示一个映射函数，通过所述映射函数将0～255二值化像素值映射到0～1之间，G表示曲线生成算法；
[0009]步骤3，图片风格转换和缓存处理，将视频的每一帧转化成只包含人体轮廓曲线的热度图，用追踪的方式把每个人每一帧的热度图依次放入各自缓存队列中，设置队列长度，
只保存邻近预设长度的帧的视频人体热度图；
[0010]步骤4，动作识别，通过图卷积神经网络，将所述步骤3中得到的每个人连续60～100帧的热度图作为输入进行动作识别，具体公式如下：
[0011][0012]其中，ti表示时刻，v表示连续帧的人体热度图，Z表示对连续帧的不同图片做统一的正则化处理，p表示对输入的每两个连续帧的图片做点映射，w表示图卷积网络参数，B表示连续帧的数量。
[0013]更进一步地，所述获取所述RGB摄像头的实时视频流，判断是否是有效帧进一步包括：每抽一帧就跟上一帧做像素级的误差计算，如果误差相差小于第一预设值则判断当前帧为是无效帧，若所述误差相差大于第一预设值则判断当前帧为是有效帧。
[0014]更进一步地，所述人体曲线生成模型为通过图片生成技术，通过将同一个人的sober算子处理后的图片结果、canny算子处理的图片结果以及自制的人体曲线图作为一组输入数据，对所述人体曲线生成模型进行训练。
[0015]更进一步地，所述将视频的每一帧转化成只包含人体轮廓曲线的热度图进一步包括：将所述有效帧内的原始场景大图先做整体背景涂黑处理，然后将所述步骤2中的所述轮廓曲线图放到原坐标位置。
[0016]更进一步地，所述步骤3进一步包括：检测是否存在连续帧中是否存在遮挡，当存在时，利用上一帧未被遮挡时的人体坐标框和之前的运动状态信息作为卡尔曼滤波初始信息，预测被遮挡时人体坐标框，然后将预测结果作为下一次迭代卡尔曼滤波的初值，以保证即使人物被遮挡也能让人体坐标框以未被遮挡时的运动状态保持稳定，直到脱离遮挡物，预测框和人体检测框重合面积区域大于0.5为止；对于被遮挡时人体曲线的补全机制，是用临近帧未被遮挡的人体曲线特征进行替代，并将其放入缓存队列，原始的被遮挡的曲线图丢弃；如果遮挡物也是人的情况，在热度图上再建一个新的维度，将遮挡的人的曲线转移到第二维度的热度图上，以此不仅遮挡的人和被遮挡的人的曲线特征都能有效保留，而且空间信息也会存在。
[0017]更进一步地，所述将所述步骤3中得到的每个人连续60～100帧的热度图作为输入进行动作识别，帧数的多少根据动作的持续长短来决定，若判断动作持续时间越长则输入越多的帧数。
[0018]更进一步地，通过多线程机制对多人同时进行动作识别，从而完成特定动作的沉浸式交互任务。
[0019]本专利技术还公开了一种通过人体曲线图进行的沉浸式交互装置，通过RGB摄像头获取视频信息，包括：视频抽帧预处理单元，获取所述RGB摄像头的实时视频流，判断是否是有效帧，当判断为有效帧时，对所述有效帧采用直方图均衡化进行处理用以增强局部对比度，其次用行人检测技术获取每个人的抠图，最后分别用sober算子和canny算子对视频流有效帧中的每个人做边缘检测，以此得到每个人的两张边缘检测结果图；人体曲线生成模型，通过构建人体曲线生成模型，将所述每个人的两张边缘检测结果图作为所述人体曲线生成模型的数据输入，并以此得到了每个人的轮廓曲线图，具体公式如下：P＝G(φ(F
sober
(x)),φ(F
canny
(x)))，其中，x代表输入图片，G表示图片生成算法，φ为空集符号，在本公式中表示一
个映射函数，通过所述映射函数将0～255二值化像素值映射到0～1之间，G表示曲线生成算法；图片风格转换和缓存处理单元，将视频的每一帧转化成只包含人体轮廓曲线的热度图，用追踪的方式把每个人每一帧的热度图依次放入各自缓存队列中，设置队列长度，只保存邻近预设长度的帧的视频人体热度图；动作识别单元，通过图卷积神经网络将得到的每个人连续60～100帧的热度图作为输入进行动作识别，具体公式如下：
[0020]其中，ti表示时刻，v表示连续帧的人体热度图，Z表示对连续帧的不同图片做统一的正则化处理，p表示对输入的每两个连续帧的图片做点映射，w表示图卷积网络参数，B表示连续帧的数量。
[0021]本专利技术进一步公开了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
[0022]本专利技术进一步公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
[0023]与现有技术相比，针对现本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种通过人体曲线图进行的沉浸式交互方法，通过RGB摄像头获取视频信息，其特征在于，所述交互方法包括如下步骤：步骤1，视频抽帧预处理，获取所述RGB摄像头的实时视频流，判断是否是有效帧，当判断为有效帧时，对所述有效帧采用直方图均衡化进行处理用以增强局部对比度，其次用行人检测技术获取每个人的抠图，最后分别用sober算子和canny算子对视频流有效帧中的每个人做边缘检测，以此得到每个人的两张边缘检测结果图；步骤2，人体曲线刻画，构建人体曲线生成模型，将所述步骤1中的所述每个人的两张边缘检测结果图作为所述人体曲线生成模型的数据输入，并以此得到了每个人的轮廓曲线图，具体公式如下：P＝G(φ(F
sober
(x)),φ(F
canny
(x)))其中，x代表输入图片，G表示图片生成算法，φ为空集符号，在本公式中表示一个映射函数，通过所述映射函数将0～255二值化像素值映射到0～1之间，G表示曲线生成算法；步骤3，图片风格转换和缓存处理，将视频的每一帧转化成只包含人体轮廓曲线的热度图，用追踪的方式把每个人每一帧的热度图依次放入各自缓存队列中，设置队列长度，只保存邻近预设长度的帧的视频人体热度图；步骤4，动作识别，通过图卷积神经网络，将所述步骤3中得到的每个人连续60～100帧的热度图作为输入进行动作识别，具体公式如下：其中，ti表示时刻，v表示连续帧的人体热度图，Z表示对连续帧的不同图片做统一的正则化处理，p表示对输入的每两个连续帧的图片做点映射，w表示图卷积网络参数，B表示连续帧的数量。2.如权利要求1所述的一种通过人体曲线图进行的沉浸式交互方法，其特征在于，所述获取所述RGB摄像头的实时视频流，判断是否是有效帧进一步包括：每抽一帧就跟上一帧做像素级的误差计算，如果误差相差小于第一预设值则判断当前帧为是无效帧，若所述误差相差大于第一预设值则判断当前帧为是有效帧。3.如权利要求1所述的一种通过人体曲线图进行的沉浸式交互方法，其特征在于，所述人体曲线生成模型为通过图片生成技术，通过将同一个人的sober算子处理后的图片结果、canny算子处理的图片结果以及自制的人体曲线图作为一组输入数据，对所述人体曲线生成模型进行训练。4.如权利要求1所述的一种通过人体曲线图进行的沉浸式交互方法，其特征在于，所述将视频的每一帧转化成只包含人体轮廓曲线的热度图进一步包括：将所述有效帧内的原始场景大图先做整体背景涂黑处理，然后将所述步骤2中的所述轮廓曲线图放到原坐标位置。5.如权利要求1所述的一种通过人体曲线图进行的沉浸式交互方法，其特征在于，所述步骤3进一步包括：检测是否存在连续帧中是否存在遮挡，当存在时，利用上一帧未被遮挡时的人体坐标框和之前的运动状态信息作为卡尔曼滤波初始信息，预测被遮挡时人体坐标框，然后将预测结果作为下一次迭代卡尔曼滤波的...
【专利技术属性】
技术研发人员：顾友良，杨子龙，李观喜，张哲为，丁博文，程煜钧，张磊，
申请(专利权)人：广州紫为云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。