一种基于视觉感知与人体三维重建的职业教育系统技术方案

本发明专利技术涉及视觉感知技术领域，具体涉及一种基于视觉感知与人体三维重建的职业教育系统。该系统包括：图像获取模块用于获取教学区域图像；部件分割模块获取教学区域图像中学员的关键点和关系亲合场信息并将学员分割成不同部件；关键点置信度获取模块获取关键点的置信度；部件权重获取模块通过部件在图像中的数量信息和运动程度实时获取部件权重；整齐度获取模块将学员分为包含多个学员的学员组；根据其他模块获得的特征计算学员组的整体整齐度；姿态教育模块将整体整齐度异常的学员组内的学员进行三维重建，通过与标准三维姿态对比筛选出异常学员。本发明专利技术在职业教育中对于不同职业操作要求的部件进行重点评估，提高了教学质量和检测准确度。

【技术实现步骤摘要】
一种基于视觉感知与人体三维重建的职业教育系统
本专利技术涉及视觉感知
，具体涉及一种基于视觉感知与人体三维重建的职业教育系统。
技术介绍
职业教育是教育体系中的一种类型，包括职业学校教育和职业培训。在职业培训的过程中，经常会有多名学员同时进行培训教学。因为师资力量有限，无法做到一对一的对学员的操作进行监督指导，不能及时发现操作错误的学员以及具体在什么步骤出现错误，对教育质量具有影响。在现有技术中，可以通过教学区域的监控摄像头拍摄的图像对学员三维信息的操作动作与标准动作进行对比，发现异常动作。但是因为不同教育类别和不同操作类别，导致学员在进行动作时身体的不同部位运动程度不同。直接将学员动作和标准动作对比无法针对某个身体部位进行重点分析，且对于多名学员来说每个都要进行三维重建和对比，导致系统计算量过大。
技术实现思路
为了解决上述技术问题，本专利技术的目的在于提供一种基于视觉感知与人体三维重建的职业教育系统，所采用的技术方案具体如下：本专利技术提出了一种基于视觉感知与人体三维重建的职业教育系统，所述系统包括：图像获取模块，用于获得教学区域图像；所述教学区域图像内包括多个学员；部件分割模块，用于处理所述教学区域图像获得所述学员的二维姿态信息，所述二维姿态信息包括人体的关键点和所述关键点的关系亲和场信息；所述关键点包括遮挡关键点；根据所述关键点将所述学员分割成不同部件；关键点置信度获取模块，用于获得与所述遮挡关键点相连部件的遮挡比例；根据所述遮挡比例获得关键点置信度；所述遮挡比例与所述关键点置信度为负相关关系；部件权重获取模块，用于根据所述教学区域图像中每个所述部件的数量信息和运动程度获得每个所述部件的部件权重；所述部件权重与所述数量信息和所述运动程度为正相关关系；整齐度获取模块，用于将所述学员分为包含多个所述学员的学员组；根据所述关键点置信度、所述关键点、所述关系亲合场信息和所述部件权重判断所述学员组内每个部件的部件整齐度；将所有所述部件整齐度相加获得所述学员组的整体整齐度；姿态教育模块，用于将所述整体整齐度异常的所述学员组内所述学员根据所述二维姿态信息进行三维重建，获得三维姿态信息；将所述三维姿态信息与标准三维姿态信息对比，筛选出异常学员；对所述异常学员的姿态进行提醒。进一步地，所述部件分割模块还包括姿态识别模块；所述姿态识别模块用于通过预先训练好的OpenPose姿态识别网络处理所述教学区域图像，获得所述学员的所述关键点和所述关系亲合场信息。进一步地，所述置信度获取模块还包括遮挡比例获取模块；所述遮挡比例获取模块用于设置滑窗对所述教学区域图像进行边缘搜索；记录检测出边缘信息时所述滑窗的中心坐标；以所述中心坐标到所述遮挡关键点坐标的距离作为遮挡长度；以所述遮挡长度和所述部件的长度的比值作为所述遮挡比例。进一步地，所述关键点置信度获取模块通过以下公式计算所述关键点置信度：其中，δ为所述关键点置信度，l为所述遮挡长度，L为所述部件长度。进一步地，所述关键点置信度获取模块还包括置信度调整模块；所述置信度调整模块用于以无所述遮挡关键点的所述二维姿态信息作为标准二维姿态信息；获得所述部件与所述标准二维姿态信息内所述部件的部件相似度；以所述部件相似度的均值与所述关键点置信度的乘积作为调整后的所述关键点置信度。进一步地，所述部件权重获取模块还包括部件数量信息获取模块；所述部件数量信息获取模块用于将所述教学区域图像中出现的所述部件的数量与所有所述部件出现数量之和的比值作为所述部件数量信息。进一步地，所述部件权重获取模块还包括运动程度获取模块；所述运动程度获取模块用于以所述部件相邻帧的所述关系亲合场信息差均值表示所述运动程度。进一步地，所述部件权重获取模块通过以下公式获得所述部件权重：其中，为第u个所述部件在t时刻的所述部件权重，λu为第u个所述部件的数量信息，为第u个所述部件在t时刻的所述运动程度，为第u个所述部件在t时刻的所述运动程度的标准差。进一步地，所述姿态教育模块利用HMR网络处理所述二维姿态信息，获得SMPL人体模型中的所述三维姿态信息。进一步地，所述整齐度获取模块通过获得所述部件整齐度的方法包括：获得所述部件的所述关系亲合场信息与所述学员组内所有所述部件的所述关系亲合场信息均值的余弦相似度；以所述部件对应的所述关系亲合场反方向上与所述部件相连的所述关键点作为所述部件对应的所述关键点；以所述部件对应的所述关键点与所述关键点置信度的乘积作为所述部件的部件关键点位置信息；以所述部件关键点位置信息与所述学员组内所有所述部件的所述部件关键点均值的差异作为关键点位置信息差异；将所有所述学员的所述部件的所述关键点差异均值与所述余弦相似度求和并求均值；所述均值与所述部件权重的乘积为所述部件整齐度。本专利技术具有如下有益效果：1.本专利技术实施例通过对动态的对学员的身体部件进行加权，能够在职业教育中对于不同职业操作要求的部件进行重点评估，提高了教学质量和检测准确度。2.本专利技术实施例通过将学员分组，寻找异常整体整齐度的学员组，针对该组成员进行三维重建和姿态教育，减少了系统计算量。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1为本专利技术一个实施例所提供的一种一种基于视觉感知与人体三维重建的职业教育系统框图。具体实施方式为了更进一步阐述本专利技术为达成预定专利技术目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本专利技术提出的一种基于视觉感知与人体三维重建的职业教育系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。下面结合附图具体的说明本专利技术所提供的一种基于视觉感知与人体三维重建的职业教育系统的具体方案。请参阅图1，其示出了本专利技术一个实施例提供的一种基于视觉感知与人体三维重建的职业教育系统框图，该系统包括图像获取模块101、部件分割模块102，关键点置信度获取模块103、部件权重获取模块104、整齐度获取模块105、三维重建模块106和姿态教育模块107。图像获取模块101利用广角相机获取学员的教学区域图像。学员的位置为有规则的排列，相机视觉为俯视，最大程度避免学员之间的互相遮挡。部件分割模块102用于处理教学区域图像获得学员的二维姿态信息。二维姿态信息包括本文档来自技高网...

【技术保护点】
1.一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述系统包括：/n图像获取模块，用于获得教学区域图像；所述教学区域图像内包括多个学员；/n部件分割模块，用于处理所述教学区域图像获得所述学员的二维姿态信息，所述二维姿态信息包括人体的关键点和所述关键点的关系亲和场信息；所述关键点包括遮挡关键点；根据所述关键点将所述学员分割成不同部件；/n关键点置信度获取模块，用于获得与所述遮挡关键点相连部件的遮挡比例；根据所述遮挡比例获得关键点置信度；所述遮挡比例与所述关键点置信度为负相关关系；/n部件权重获取模块，用于根据所述教学区域图像中每个所述部件的数量信息和运动程度获得每个所述部件的部件权重；所述部件权重与所述数量信息和所述运动程度为正相关关系；/n整齐度获取模块，用于将所述学员分为包含多个所述学员的学员组；根据所述关键点置信度、所述关键点、所述关系亲合场信息和所述部件权重判断所述学员组内每个部件的部件整齐度；将所有所述部件整齐度相加获得所述学员组的整体整齐度；/n姿态教育模块，用于将所述整体整齐度异常的所述学员组内所述学员根据所述二维姿态信息进行三维重建，获得三维姿态信息；将所述三维姿态信息与标准三维姿态信息对比，筛选出异常学员；对所述异常学员的姿态进行提醒。/n...

【技术特征摘要】
1.一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述系统包括：
图像获取模块，用于获得教学区域图像；所述教学区域图像内包括多个学员；
部件分割模块，用于处理所述教学区域图像获得所述学员的二维姿态信息，所述二维姿态信息包括人体的关键点和所述关键点的关系亲和场信息；所述关键点包括遮挡关键点；根据所述关键点将所述学员分割成不同部件；
关键点置信度获取模块，用于获得与所述遮挡关键点相连部件的遮挡比例；根据所述遮挡比例获得关键点置信度；所述遮挡比例与所述关键点置信度为负相关关系；
部件权重获取模块，用于根据所述教学区域图像中每个所述部件的数量信息和运动程度获得每个所述部件的部件权重；所述部件权重与所述数量信息和所述运动程度为正相关关系；
整齐度获取模块，用于将所述学员分为包含多个所述学员的学员组；根据所述关键点置信度、所述关键点、所述关系亲合场信息和所述部件权重判断所述学员组内每个部件的部件整齐度；将所有所述部件整齐度相加获得所述学员组的整体整齐度；
姿态教育模块，用于将所述整体整齐度异常的所述学员组内所述学员根据所述二维姿态信息进行三维重建，获得三维姿态信息；将所述三维姿态信息与标准三维姿态信息对比，筛选出异常学员；对所述异常学员的姿态进行提醒。


2.根据权利要求1所述的一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述部件分割模块还包括姿态识别模块；
所述姿态识别模块用于通过预先训练好的OpenPose姿态识别网络处理所述教学区域图像，获得所述学员的所述关键点和所述关系亲合场信息。


3.根据权利要求1所述的一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述置信度获取模块还包括遮挡比例获取模块；
所述遮挡比例获取模块用于设置滑窗对所述教学区域图像进行边缘搜索；记录检测出边缘信息时所述滑窗的中心坐标；以所述中心坐标到所述遮挡关键点坐标的距离作为遮挡长度；以所述遮挡长度和所述部件的长度的比值作为所述遮挡比例。


4.根据权利要求3所述的一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述关键点置信度获取模块通过以下公式计算所述关键点置信度：



其中，δ为所述关键点置信度，l为所述遮挡长度，L为所述部件长度。


5.根据权利要求1所述的一种基于视觉感...

【专利技术属性】
技术研发人员：陈冬丽，吕娜，吴琳，闫然，候彬彬，张泽欣，李敏，
申请(专利权)人：郑州铁路职业技术学院，
类型：发明
国别省市：河南;41