本申请提供一种施工机械设备动作实时智能识别方法及装置，该方法包括：采集待识别施工机械设备在预设时间范围内的多个时刻的运动部位信息；基于预先训练的动作识别模型分别对各时刻的所述运动部位信息进行分析，得到待识别施工机械设备在多个时刻的多个动作识别结果；所述动作识别模型是根据机械设备动作类型数据集训练得到的；利用时序信息对所述动作识别结果进行平滑操作及结果纠正，得到待识别施工机械设备的动作。本申请可以仅基于施工机械设备在某一时刻的运动部位信息识别得到施工机械设备在该时刻的动作，无需考虑数据的时序性，减少了数据计算量和资源浪费，提高了动作识别效率和识别精度，缩小了动作识别模型的大小。大小。大小。
【技术实现步骤摘要】
施工机械设备动作实时智能识别方法及装置
[0001]本申请涉及智慧工地
，具体涉及一种施工机械设备动作实时智能识别方法及装置。
技术介绍
[0002]在过去的20年中，新兴技术的进步使研究人员和从业人员在施工要素的管理领域，运用不同的技术手段，对不同层级的施工活动都进行了一定的研究，使得行业能够不断朝着智能、实时、动态管理的方向迈进，也取得巨大的进步。基于传感器的
的最新发展（从硬件和软件的角度来看）已经帮助建筑经理有效地与现场的其他方进行互动，并提高了生产率和安全性能。根据实现的传感器的类型，施工要素活动自动检测和识别方法可以分为四大类，即：（1）基于运动学的方法；（2）基于计算机视觉的方法；（3）基于音频的方法；（4）其它物理传感器方法。
[0003]目前无论是基于哪类传感器的动作识别方法，均需要基于一个时段内的多个数据来进行判断，即需要考虑时序性，在技术上体现为通过时域滑动窗口来获取上述一个时段内的时序上下文信息。这需要通过大量时序上下文信息进行提取特征，并将大量时序信息作为一个样本输入模型框架。这种实现方式存在许多问题：1）动作起始点判断困难，导致会出现很多无效滑动窗孔；2）单个滑动窗口内就需要含有大量冗余时序信息，但是却都需要通过计算机的计算，浪费了大量算力资源；3）滑动窗口长度选取困难，对结果影响极大，很多时候需要同时设置多个滑动不同时间长度的滑动窗口，进一步导致资源浪费、效率降低、精度下降；4）增加了时间维度的数据，是一种数据升维的框架，对算力、存储资源消耗巨大；5）因为输入数据量较大，通常对应的动作识别模型也较大，不利于前端部署。
技术实现思路
[0004]为了解决现有技术中存在的问题，第一方面，本申请提供一种施工机械设备动作实时智能识别方法，包括：采集待识别施工机械设备在预设时间范围内的多个时刻的运动部位信息；基于预先训练的动作识别模型分别对各时刻的所述运动部位信息进行分析，得到待识别施工机械设备在多个时刻的多个动作识别结果；所述动作识别模型是根据机械设备动作类型数据集训练得到的。
[0005]在一实施例中，所述施工机械设备动作实时智能识别方法还包括：利用时序信息对各时刻的所述动作识别结果进行平滑操作及结果纠正。
[0006]在一实施例中，所述运动部位信息为待识别施工机械设备的运动部位的图像信息；采集待识别施工机械设备在预设时间范围内的多个时刻的运动部位信息，包括：获取待识别施工机械设备在预设时间范围内的图像序列；基于图像差分法和实例分割法对所述图像序列中的各图像进行分析处理，得到待
识别施工机械设备在对应时刻的运动部位信息。
[0007]在一实施例中，所述基于图像差分法和实例分割法对所述图像序列中的各图像进行分析处理，得到待识别施工机械设备在对应时刻的运动部位信息，包括：通过背景差分法获取所述图像中的运动目标对应的第一像素集；在所述图像上对待识别施工机械设备进行实例分割得到第二像素集；获取所述第一像素集与所述第二像素集的交集，得到所述待识别施工机械设备的运动部位信息。
[0008]在一实施例中，训练所述动作识别模型的步骤包括：获取包含多个训练数据的训练数据集，各所述训练数据包括一施工机械设备的图像以及所述图像对应的语义标签；所述语义标签包括所述施工机械设备的类型及动作类别；使用所述训练数据集对初始模型进行训练，得到所述动作识别模型；所述初始模型包括机器学习模型、深度学习模型、数理统计对比模型、基于简单数理运算的特征值与阈值对比模型中的一种。
[0009]在一实施例中，建立所述训练数据集的步骤包括：采用机械设备模拟软件生成机械设备动作指令，并将所述机械设备动作指令施加于预设的数字机械设备；使用虚拟相机获取所述数字机械设备在多个相机位姿的图像序列；将各相机位姿的图像序列时间对齐至标准时间；对任一相机位姿的图像序列进行动作语义标准分析，得到对应的语义标签；将所述语义标签赋予各相机位姿的图像序列中对应的图像；分别根据各图像及其对应的语义标签建立所述训练数据集。
[0010]在一实施例中，所述施工机械设备动作实时智能识别方法还包括：采集工程现场的环境图像；对所述环境图像进行实例分割和语义分析，得到多个施工要素。
[0011]在一实施例中，所述施工机械设备动作实时智能识别方法还包括：获取待识别施工机械设备在多个作业工况下各作业环节的动作耗时；所述动作耗时为待识别施工机械设备执行某一动作所用的时间；基于所述动作耗时分别确定待识别施工机械设备在对应作业工况下的一个工作循环耗时；所述一个工作循环耗时为待识别施工机械设备依次执行所有动作所用的时间；根据所述动作耗时和/或所述一个工作循环耗时确定所述待识别施工机械设备在各作业工况下的工作效率信息。
[0012]在一实施例中，所述施工机械设备动作实时智能识别方法还包括：获取不同作业工况对应的操作指令；建立作业工况、工作效率信息以及操作指令之间的对应关系，以根据所述对应关系确定工作效率最高的作业工况及其对应的操作指令。
[0013]在一实施例中，所述施工机械设备动作实时智能识别方法还包括：根据所述动作识别结果以及所述施工要素确定对应的施工机械设备的交互活动、单个施工机械设备的安全信息和交互活动的安全信息；
获取施工机械设备执行所述动作识别结果时的操作指令；建立所述操作指令与所述单个施工机械设备的安全信息和交互活动的安全信息之间的对应关系。
[0014]在一实施例中，所述施工机械设备动作实时智能识别方法还包括：根据所述动作识别结果、所述工作效率信息、所述施工机械设备的交互活动、所述单个施工机械设备的安全信息以及所述交互活动的安全信息，生成施工机械设备的工作日志。
[0015]在一实施例中，所述施工机械设备动作实时智能识别方法还包括：将所述动作识别结果发送至数据展示平台进行展示；其中，所述数据展示平台可通过全息投影的立体显示方式实现所述动作识别结果的近实时数字孪生，或通过二维显示方式实现所述动作识别结果的图像模拟孪生和/或文字描述信息孪生。
[0016]在一实施例中，所述施工机械设备包括挖掘机、装载机、卡车、起重机、随车吊、登高车、压路机、推土机、路面摊铺机、混凝土搅拌运输车、臂架泵车、打桩机、旋挖钻机、成槽机中的一种或处于交互状态中的多种。
[0017]第二方面，本申请提供一种施工机械设备动作实时智能识别装置，包括：信息采集模块，用于采集待识别施工机械设备在预设时间范围内的多个时刻的运动部位信息；动作识别模块，用于基于预先训练的动作识别模型分别对各时刻的所述运动部位信息进行分析，得到待识别施工机械设备在多个时刻的多个动作识别结果；所述动作识别模型是根据机械设备动作类型数据集训练得到的。
[0018]在一实施例中，所述施工机械设备动作实时智能识别装置还包括结果纠正模块，用于利用时序信息对各时刻的所述动作识别结果进行平滑操作及结果纠正。
[0019]在一实施例中，所述运动部位信息为待识别施工机械设备的运动部位的图像信息；所述信息采集模块包括：本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种施工机械设备动作实时智能识别方法，其特征在于，包括：采集待识别施工机械设备在预设时间范围内的多个时刻的运动部位信息；基于预先训练的动作识别模型分别对各时刻的所述运动部位信息进行分析，得到待识别施工机械设备在多个时刻的多个动作识别结果；所述动作识别模型是根据机械设备动作类型数据集训练得到的。2.根据权利要求1所述的施工机械设备动作实时智能识别方法，其特征在于，还包括：利用时序信息对各时刻的所述动作识别结果进行平滑操作及结果纠正。3.根据权利要求1所述的施工机械设备动作实时智能识别方法，其特征在于，所述运动部位信息为待识别施工机械设备的运动部位的图像信息；采集待识别施工机械设备在预设时间范围内的多个时刻的运动部位信息，包括：获取待识别施工机械设备在预设时间范围内的图像序列；基于图像差分法和实例分割法对所述图像序列中的各图像进行分析处理，得到待识别施工机械设备在对应时刻的运动部位信息。4.根据权利要求3所述的施工机械设备动作实时智能识别方法，其特征在于，所述基于图像差分法和实例分割法对所述图像序列中的各图像进行分析处理，得到待识别施工机械设备在对应时刻的运动部位信息，包括：通过背景差分法获取所述图像中的运动目标对应的第一像素集；在所述图像上对待识别施工机械设备进行实例分割得到第二像素集；获取所述第一像素集与所述第二像素集的交集，得到所述待识别施工机械设备的运动部位信息。5.根据权利要求3所述的施工机械设备动作实时智能识别方法，其特征在于，训练所述动作识别模型的步骤包括：获取包含多个训练数据的训练数据集，各所述训练数据包括一施工机械设备的图像以及所述图像对应的语义标签；所述语义标签包括所述施工机械设备的类型及动作类别；使用所述训练数据集对初始模型进行训练，得到所述动作识别模型；所述初始模型包括机器学习模型、深度学习模型、数理统计对比模型、基于简单数理运算的特征值与阈值对比模型中的一种。6.根据权利要求5所述的施工机械设备动作实时智能识别方法，其特征在于，建立所述训练数据集的步骤包括：采用机械设备模拟软件生成机械设备动作指令，并将所述机械设备动作指令施加于预设的数字机械设备；使用虚拟相机获取所述数字机械设备在多个相机位姿的图像序列；将各相机位姿的图像序列时间对齐至标准时间；对任一相机位姿的图像序列进行动作语义标准分析，得到对应的语义标签；将所述语义标签赋予各相机位姿的图像序列中对应的图像；分别根据各图像及其对应的语义标签建立所述训练数据集。7.根据权利要求1至6中任一项所述的施工机械设备动作实时智能识别方法，其特征在于，还包括：采集工程现场的环境图像；
对所述环境图像进行实例分割和语义分析，得到多个施工要素。8.根据权利要求7所述的施工机械设备动作实时智能识别方法，其特征在于，还包括：获取待识别施工机械设备在多个作业工况下各作业环节的动作耗时；所述动作耗时为待识别施工机械设备执行某一动作所用的时间；基于所述动作耗时分别确定待识别施工机械设备在对应作业工况下的一个工作循环耗时；所述一个工作循环耗时为待识别施工机械设备依次执行所有动作所用的时间；根据所述动作耗时和/或所述一个工作循环耗时确定所述待识别施工机械设备在各作业工况下...
【专利技术属性】
技术研发人员：安雪晖，周力，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。