一种基于神经网络的实时人体感知方法技术

本发明专利技术公开了一种基于神经网络的实时人体感知方法，包括：提取图像中人体关键点位置、尺度和人体分割结果；解算三维空间中的人体关键点位置信息与尺度值；依据人体关键点位置构建人体骨架模型，在骨架模型周围关键点尺度范围内均匀采样，获取人体重建点云集；将重建点云投影到人体分割结果中，滤除对应投影结果在人体分割结果外的点云；选择参考帧视角和目标帧视角，计算参考帧和目标帧视角下的可观测点集的交集，统计该交集中的点云数量，采用极线搜索方法在极线上进行均匀采样，对比采样点投影结果与参考点投影结果间的相似度，选取结果最相似的采样点作为最终的优化结果，本发明专利技术能够实现更稳定、更准确的感知效果。更准确的感知效果。更准确的感知效果。

【技术实现步骤摘要】
一种基于神经网络的实时人体感知方法


[0001]本专利技术涉及计算机视觉和人机协作领域，具体涉及一种基于神经网络的实时人体感知方法。

技术介绍

[0002]人机协作，即由机器人从事精度与重复性高的作业流程，而工人在其辅助下进行创意性工作的新工业。为实现期望的人机协作功能，首先需要解决人机协作系统的安全性问题。
[0003]准确完整的场景感知技术是实现安全的人机协作功能的前提，现有的人机协作系统，根据使用的传感器类型不同，可以分为依托视觉相机、依托视觉
‑
深度相机和依托深度传感器的人机协作系统。
[0004]相较于视觉
‑
深度相机和深度传感器，视觉相机具有低成本、部署简单、泛用性好等优势，能够以较低的成本完成感知系统的部署。用视觉相机进行场景感知的工作始终是计算机视觉领域中最热门的研究内容，因此基于视觉相机的人机协作场景感知技术具有很高的研究价值和广阔的应用前景。
[0005]相较于受到广泛重视与研究的目标识别与场景重建任务，三维人体感知任务并没有受到足够多的重视。目前的人机协作系统与方案将人体表征为关键点组合成的人体骨架模型，并以此为基础设计交互与规划技术。这样的设计在实际应用中存在极大的安全隐患。
[0006]随着深度学习的兴起，许多计算机视觉任务都使用神经网络取得了目前最好的效果，例如使用视觉相机进行人体表面重建工作。卷积神经网络通过对图像矩阵进行卷积操作提取图像特征，将多层执行卷积计算的网络叠加在一起形成深层网络模型，可以在许多任务中得到极好的表现，但现有技术在复杂的非结构化人机协作场景中很难得到准确的人体感知结果。
[0007]以上
技术介绍
内容的公开仅用于辅助理解本专利技术的专利技术构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日前已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。

技术实现思路

[0008]为了解决人体感知结果不准确的技术问题，本专利技术的目的在于提供一种基于神经网络的实时人体感知方法。
[0009]本专利技术的技术问题通过以下的技术方案予以解决：
[0010]一种基于神经网络的实时人体感知方法，包括如下步骤：
[0011]S1、实时采集人机协作装配区域图像；提取人体关键点的像素坐标、尺度值与置信度以及人体分割结果；统计人体关键点检测的置信度，解算人体关键点在三维空间中的位置坐标与尺度值；
[0012]S2、构建人体骨架模型，进行均匀随机采样，构建人体稠密重建点云集合；将人体
稠密重建点云集合分别投影到各视角下的人体分割结果中；
[0013]S3、选择参考帧视角和目标帧视角，计算参考帧和目标帧视角下的可观测点集的交集，统计该交集中的点云数量；
[0014]S4、判断是否存在足够数量的点云能被参考帧和目标帧同时观测到，若共同观测的点云的数量小于等于阈值，则重复步骤S3；若大于阈值，则执行步骤S5；
[0015]S5、从参考帧视角的观测光心引出极线，并在极线的邻域内采样；计算采样点在参考帧和目标帧视角下投影位置处的局部窗口内的像素分布的相似性；选取每条极线上相似性评价最高的采样点，若采样点的相似性评价高于阈值，则将其加入重建结果中，否则将其舍弃；
[0016]S6、遍历所有视角后，输出人体稠密感知结果。
[0017]在本专利技术的一些实施例中，步骤S1通过采用多视角同步相机实时采集人机协作装配区域图像，且采用多视角同步相机中使用的多台相机需接收同一外部触发信号实现同步。
[0018]在本专利技术的一些实施例中，，步骤S1使用卷积神经网络提取各视角下人体关键点的像素坐标、尺度值与置信度以及人体分割结果；所述卷积神经网络的主要结构包括主干网络、编码器和多个解码器；所述卷积神经网络采用有监督方式训练或者预训练模型；所述使用卷积神经网络提取各视角下人体关键点的格式选择人体上半身关键点格式或者人体全身关键点格式；所述人体分割结果为与输入图像同分辨率的人体掩膜，人体部分为1，非人体部分为0。
[0019]在本专利技术的一些实施例中，步骤S1统计各个视角下人体关键点检测的置信度，统计各个视角下人体关键点的置信度是否大于0.7判断检测结果是否可信，人体关键点的置信度大于0.7则表示检测结果准确，可进行下一步的解算，否则不再考虑；对于置信度高于阈值的视角少于2个的人体关键点，不进行进一步的重建；对于置信度高于阈值的视角不少于2个的人体关键点，可进行下一步的解算；所述解算人体关键点在三维空间中的位置坐标与尺度值时，使用人体关键点检测的置信度优化解算结果：
[0020](W
·
A)X＝0
[0021]其中X是关键点的三维单应坐标，W是该关键点在对应视角下的检测置信度，A是依据相机参数与关键点检测结果计算得到的DLT矩阵。
[0022]在本专利技术的一些实施例中，步骤S2中采用步骤S1中解算的人体关键点在三维空间中的位置坐标与尺度值构建人体骨架模型；所述进行均匀随机采样具体为：在人体关键点位置以关键点尺度为半径的球状区域内均匀随机采样4000个点，在关键点间的骨架区域视作圆柱体，以关键点尺度为半径的圆柱状状区域内均匀随机采样4000个点。
[0023]在本专利技术的一些实施例中，步骤S2中所述将人体稠密重建点云集合分别投影到各视角下的人体分割结果中，以投影位置的响应值是否为1来判断投影位置是否在人体分割结果内，否则将其滤除。
[0024]在本专利技术的一些实施例中，步骤S4中，判断是否存在足够数量的点云能被参考帧和目标帧同时观测到，判断依据是，若共同观测到的点云数量小于等于预设阈值，则认为当前参考帧与目标帧不存在可靠的共同观测关系，重复执行步骤S3直至找到存在足够共同观测点的两个视角；若共同观测到的点云数量大于预设阈值，则认为当前参考帧与目标帧存
在可靠的共同观测关系，可以在对应视角的图像间寻找可靠对应关系优化重建结果，执行步骤S5。
[0025]在本专利技术的一些实施例中，步骤S5通过利用步骤S3计算得到的点云信息，从参考帧视角的观测光心向每一个观测点引出一条极线，并在极线上观测点的邻域内进行等间隔均匀采样；所述参考帧视角的观测光心指对应相机的外参的平移分量；所述观测点附近向靠近光心与远离光心的方向上分别以2mm等间隔均匀采样5个点。
[0026]在本专利技术的一些实施例中，步骤S5中判断采样点是否采用的依据为相似性评价是否大于1；通过将步骤S4中得到的采样点投影到目标帧视角下，计算采样点在参考帧下投影位置处的局部窗口内的像素分布与目标帧下投影位置处的局部窗口内的像素分布的相似性；所述相似性的相似度S计算的方式是：
[0027][0028]其中A,B分别是参考帧与目标帧上投影位置附近3
×
3的局部窗口，i,j是局部窗口对应的行与列索引。
[0029]在本专利技术的一些实施例中，步骤S6判断是否遍历所有视角，若已完成遍历，结束重建过程，输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的实时人体感知方法，其特征在于，包括以下步骤：S1、实时采集人机协作装配区域图像；提取人体关键点的像素坐标、尺度值与置信度以及人体分割结果；统计人体关键点检测的置信度，解算人体关键点在三维空间中的位置坐标与尺度值；S2、构建人体骨架模型，进行均匀随机采样，构建人体稠密重建点云集合；将人体稠密重建点云集合分别投影到各视角下的人体分割结果中；S3、选择参考帧视角和目标帧视角，计算参考帧和目标帧视角下的可观测点集的交集，统计该交集中的点云数量；S4、判断是否存在足够数量的点云能被参考帧和目标帧同时观测到，若共同观测的点云的数量小于等于阈值，则重复步骤S3；若大于阈值，则执行步骤S5；S5、从参考帧视角的观测光心引出极线，并在极线的邻域内采样；计算采样点在参考帧和目标帧视角下投影位置处的局部窗口内的像素分布的相似性；选取每条极线上相似性评价最高的采样点，若采样点的相似性评价高于阈值，则将其加入重建结果中，否则将其舍弃；S6、遍历所有视角后，输出人体稠密感知结果。2.如权利要求1所述的基于神经网络的实时人体感知方法，其特征在于，步骤S1通过采用多视角同步相机实时采集人机协作装配区域图像，且采用多视角同步相机中使用的多台相机需接收同一外部触发信号实现同步。3.如权利要求1所述的基于神经网络的实时人体感知方法，其特征在于，步骤S1使用卷积神经网络提取各视角下人体关键点的像素坐标、尺度值与置信度以及人体分割结果；所述卷积神经网络的主要结构包括主干网络、编码器和多个解码器；所述卷积神经网络采用有监督方式训练或者预训练模型；所述使用卷积神经网络提取各视角下人体关键点的格式选择人体上半身关键点格式或者人体全身关键点格式；所述人体分割结果为与输入图像同分辨率的人体掩膜，人体部分为1，非人体部分为0。4.如权利要求1所述的基于神经网络的实时人体感知方法，其特征在于，步骤S1统计各个视角下人体关键点检测的置信度，统计各个视角下人体关键点的置信度是否大于0.7判断检测结果是否可信，人体关键点的置信度大于0.7则表示检测结果准确，可进行下一步的解算，否则不再考虑；对于置信度高于阈值的视角少于2个的人体关键点，不进行进一步的重建；对于置信度高于阈值的视角不少于2个的人体关键点，可进行下一步的解算；所述解算人体关键点在三维空间中的位置坐标与尺度值时，使用人体关键点检测的置信度优化解算结果：(W
·
A)X＝0其中X是关键点的...

【专利技术属性】
技术研发人员：金欣，李志恒，罗坤丞，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：