一种生产行为数字孪生模型的构建方法技术

本发明专利技术公开了一种生产行为数字孪生模型的构建方法，涉及安防管控技术领域，解决了生产行为中人体行为和关键资源的管控不够完整且效率不高的技术问题，其技术方案要点是通过构建视觉传感网络、训练人员行为识别模型和物料种类识别模型，从而构建人员、物料的数字孪生模型，为实现物理世界和信息世界智能互联与交互融合提供一种有效参考。能够实现无需人工参与，即可管控车间人员，实时获取员工动态位置、行为信息，并可实时获取目标区域内的物料种类以及摆放情况，如有异常立即采取相应管理措施，达到无人化监控。达到无人化监控。达到无人化监控。

【技术实现步骤摘要】
一种生产行为数字孪生模型的构建方法


[0001]本申请涉及安防管控
，涉及生产管控技术，尤其涉及一种生产行为数字孪生模型的构建方法。

技术介绍

[0002]随着时代的发展，以互联网信息技术和工业生产不断融合为代表的智能制造技术发展迅速。数字孪生作为将制造信息物理融合的关键“粘合剂”逐渐被人们重视，该技术使用数字化手段，将多维度、多尺度的虚拟化模型与现实物理世界深度融合，使二者相互映射、相互影响。目前，已有不少研究成果采用信息传感器网络，将产品设计、生产、制造等全生命周期中的多源数据融合，构建产品数字孪生模型。
[0003]目前，国内学者对生产环境内的设备、产品的数字孪生体已有不少研究，但对人的数字孪生体缺乏系统性。而人是生产环境中的重要组成部分，也是大部分生产行为的执行主体，因此如何实现人体行为数字孪生模型的快速构建对于生产现场的高效、准确管控有着重要的意义。
[0004]另一方面，生产现场中往往会堆放各式各样的制造资源，这些资源物料的随意堆放或是错误堆放容易导致生产效率的降低乃至危险事件的发生，如何通过数字孪生模型对一些关键作业区域内的物料进行查验，对于生产现场的安全管控极为重要。

技术实现思路

[0005]本申请提供了一种生产行为数字孪生模型的构建方法，其技术目的是将生产场景内人员的数字孪生体、关键制造资源的数字孪生体等有效结合形成完整的、全方位的数字孪生模型，进而为实现制造物理世界和信息世界的智能互联和交互融合提供有效参考，并能够对生产现场进行高效安全的管控。
[0006]本申请的上述技术目的是通过以下技术方案得以实现的：
[0007]一种生产行为数字孪生模型的构建方法，包括：
[0008]S1：在生产区域内构建视觉传感网络，所述视觉传感网络包括深度视觉传感器和摄像头；
[0009]S2：摄像头采集RGB图像，对摄像头所监管区域进行标定和目标区域划分，构建目标检测网络，然后通过所述目标检测网络对目标区域内的关键制造资源进行识别与分类，得到关键制造资源的识别分类结果和像素坐标，所述像素坐标根据宏观映射关系f1得到关键制造资源的物理世界坐标；
[0010]S3：通过深度视觉传感器获取生产场景内全部人员的骨架关节点坐标数据，对骨架关节点坐标数据进行二次处理，得到由骨架关节点间的夹角和距离值组成的特征向量Features；
[0011]S4：使用标准化重构方法对所述特征向量Features进行归一化处理，得到人体行为的时空特征灰度图像；构建行为识别模型，通过所述行为识别模型对所述时空特征灰度
图像进行时空域的行为识别，得到行为识别结果；
[0012]S5：根据微观映射关系f2，对人体骨架关节点坐标数据进行处理，将每个骨架关节点的坐标从相机坐标系转换为世界坐标系，得到生产人员物理世界坐标，所述生产人员物理世界坐标结合所述行为识别结果即生产行为的微观表述；
[0013]S6：将所述关键制造资源的物理世界坐标和识别分类结果、所述生产人员物理世界坐标和所述行为识别结果作为生产行为孪生数据构建数字孪生模型。
[0014]本申请的有益效果在于：
[0015](1)本申请提出了一种可应用于生产场景人员管控的方法，通过构建视觉传感网络、训练人员行为识别模型，能够实现无需人工参与，即可管控车间人员，实时获取员工动态位置、行为信息，如有异常立即采取相应管理措施，达到无人化监控。
[0016](2)本申请提出了一种可应用于生产场景的关键制造资源管控方法，通过构建视觉传感网络、训练物料种类识别模型，能够实现无需人工参与，即可实时获取目标区域内的物料种类以及摆放情况，如有异常立即采取相应管理措施，达到无人化监控。
[0017](3)通过本申请的方法可以实时获取生产场景内人员的位置、行为信息以及关键制造资源的放置情况，从而构建人员、物料的数字孪生体，为实现物理世界和信息世界智能互联与交互融合提供一种有效参考。
附图说明
[0018]图1为本申请所述方法的流程图；
[0019]图2为本申请所述行为识别模型的结构图。图3为骨架关节点间的距离示意图。
具体实施方式
[0020]下面将结合附图对本申请技术方案进行详细说明。
[0021]图1为本申请所述方法的流程图，如图1所示，该方法包括：
[0022]S1：在生产区域内构建视觉传感网络，所述视觉传感网络包括深度视觉传感器和摄像头。
[0023]S2：摄像头采集RGB图像，对摄像头所监管区域进行标定和目标区域划分，构建目标检测网络，然后通过所述目标检测网络对目标区域内的关键制造资源进行识别与分类，得到关键制造资源的识别分类结果和像素坐标，所述像素坐标根据宏观映射关系f1得到关键制造资源的物理世界坐标。
[0024]具体地，对摄像头所监管的区域进行标定和目标区域划分包括：
[0025]S211：将黑白棋盘格标定板放到摄像头成像区域内，从摄像头中获取标定图片；
[0026]S212：通过张正友标定法进行摄像头标定，得到摄像头内外参数；
[0027]S213：根据摄像头内外参数对摄像头采集的生产场景内的RGB图像进行矫正；
[0028]S214：对矫正后的RGB图像进行目标区域划分。
[0029]通过目标检测网络对目标区域内的关键制造资源进行识别与分类，得到关键制造资源的识别分类结果和像素坐标，包括：
[0030]S221：对矫正后的RGB图像中目标区域内的物体进行人工标记，得到标记后图像，
对标记后图像的RGB三通道像素值都进行归一化，得到归一化图像；
[0031]S222：将归一化图像投入到目标检测网络中训练直至模型收敛，得到收敛后的目标检测网络；
[0032]S223：通过收敛后的目标检测网络对来自多摄像头的视频帧图像进行关键制造资源的识别与分类，得到关键制造资源的识别分类结果和对应的像素坐标。
[0033]本申请中，目标检测网络的选择有多种，例如YOLO网络等。
[0034]宏观映射关系f1的计算步骤包括：
[0035]S231：在实际生产区域中采集二维物理坐标(x,y)，并在对应的所述RGB图像中获取 (x,y)所对应的像素坐标(u,v)；
[0036]S232：利用机器学习的多输出回归算法，拟合所述RGB图像中目标所在的像素坐标 (u,v)与实际生产区域中关键制造资源所在的物理坐标(x,y)的宏观映射关系f1。
[0037]S3：通过深度视觉传感器获取生产场景内全部人员的骨架关节点坐标数据，对骨架关节点坐标数据进行二次处理，得到由骨架关节点间的夹角和距离值组成的特征向量 Features。
[0038]具体地，通过深度视觉传感器获取生产场景内全部人员的骨架关节点坐标数据包括：通过深度视觉传感器Kinect的预设输出接口获得生产场景内全部人员的骨架关节点位置信息SkeletonData
’
...

【技术保护点】

【技术特征摘要】
1.一种生产行为数字孪生模型的构建方法，其特征在于，包括：S1：在生产区域内构建视觉传感网络，所述视觉传感网络包括深度视觉传感器和摄像头；S2：摄像头采集RGB图像，对摄像头所监管区域进行标定和目标区域划分，构建目标检测网络，然后通过所述目标检测网络对目标区域内的关键制造资源进行识别与分类，得到关键制造资源的识别分类结果和像素坐标，所述像素坐标根据宏观映射关系f1得到关键制造资源的物理世界坐标；S3：通过深度视觉传感器获取生产场景内全部人员的骨架关节点坐标数据，对骨架关节点坐标数据进行二次处理，得到由骨架关节点间的夹角和距离值组成的特征向量Features；S4：使用标准化重构方法对所述特征向量Features进行归一化处理，得到人体行为的时空特征灰度图像；构建行为识别模型，通过所述行为识别模型对所述时空特征灰度图像进行时空域的行为识别，得到行为识别结果；S5：根据微观映射关系f2，对人体骨架关节点坐标数据进行处理，将每个骨架关节点的坐标从相机坐标系转换为世界坐标系，得到生产人员物理世界坐标，所述生产人员物理世界坐标结合所述行为识别结果即生产行为的微观表述；S6：将所述关键制造资源的物理世界坐标和识别分类结果、所述生产人员物理世界坐标和所述行为识别结果作为生产行为孪生数据构建数字孪生模型。2.如权利要求1所述的构建方法，其特征在于，所述步骤S2中，所述对摄像头所监管的区域进行标定和目标区域划分包括：S211：将黑白棋盘格标定板放到摄像头成像区域内，从摄像头中获取标定图片；S212：通过张正友标定法进行摄像头标定，得到摄像头内外参数；S213：根据摄像头内外参数对摄像头采集的生产场景内的RGB图像进行矫正；S214：对矫正后的RGB图像进行目标区域划分。3.如权利要求2所述的构建方法，其特征在于，所述步骤S2中，所述通过目标检测网络对目标区域内的关键制造资源进行识别与分类，得到关键制造资源的识别分类结果和像素坐标，包括：S221：对矫正后的RGB图像中目标区域内的物体进行人工标记，得到标记后图像，对标记后图像的RGB三通道像素值都进行归一化，得到归一化图像；S222：将归一化图像投入到目标检测网络中训练直至模型收敛，得到收敛后的目标检测网络；S223：通过收敛后的目标检测网络对来自多摄像头的视频帧图像进行关键制造资源的识别与分类，得到关键制造资源的识别分类结果和对应的像素坐标。4.如权利要求3所述的构建方法，其特征在于，所述步骤S2中，所述宏观映射关系f1的计算步骤包括：S231：在实际生产区域中采集二维物理坐标(x，y)，并在对应的所述RGB图像中获取(x，y)所对应的像素坐标(u，v)；S232：利用机器学习的多输出回归算法，拟合所述RGB图像中目标所在的像素坐标(u，v)与实际生产区域中关键制造资源所在的物理坐标(x，y)的宏观映射关系f1。
5.如权利要求4所述的构建方法，其特征在于，所述步骤S3中，所述通过深度视觉传感器获取生产场景内全部人员的骨架关节点坐标数据包括：通过深度视觉传感器的预设输出接口获得生产场景内全部人员的骨架关节点位置信息SkeletonData
’
＝{x
″1，y
″1，z
″1，...

【专利技术属性】
技术研发人员：刘庭煜，倪中华，
申请(专利权)人：东南大学，
类型：发明
国别省市：