【技术实现步骤摘要】
本专利技术属于汽车装配工时分析，具体涉及一种多通道一维卷积神经网络1dcnn模型的汽车装配动作识别方法。
技术介绍
1、现有整车制造行业对于生产操作工时测量一般采用直接观测法、秒表法或标准分析法三种方法中的一个。其中前两种方法一般应用于工时结果要求不太精确的场景，而对于一些要求工时结果高度精确的场景，一般采用标准分析法。标准分析法是通过将一名生产操作人员的全部动作，通过某个给定的标准进行分割、识别，并将分割后的动作按照标准中规定的工时进行赋值，标准分析法得出的工时结果虽然较为精确，但是，在运用标准分析法分割作业动作的时候，却存在着分析效率慢、掌握方法较为困难、人为分割的动作不准确等问题。
技术实现思路
1、为了克服上述问题，本专利技术提供一种基于动捕设备的动作识别分割模型与系统；应用于汽车装配场景，实现智能化动作分割与识别，简化工时验证流程，提高验证分析效率自动化。
2、多通道一维卷积神经网络1dcnn模型的汽车装配动作识别方法，具体包括如下内容：
3、步骤一，将完整的汽车装配动作分为n种动作类别，并将n种动作类别划分为上半身动作和下半身动作两大类；
4、步骤二，在车间工人身上不同的身体部位分别佩戴传感器，采集车间工人分别在执行上半身动作和下半身动作时各传感器采集到的数据，且车间工人要重复执行每一种动作m次，同时重复采集m次各传感器采集到的数据，得到原始数据；
5、步骤三：搭建多通道一维卷积神经网络1dcnn识别模型；将步骤二得到的原
6、步骤四，在车间工人身上各身体部位佩戴传感器，获取车间工人在正常工作时，其身体上各个传感器采集到的数据；
7、步骤五，将步骤四采集到的传感器数据依次分别输入步骤三中训练好的上半身装配动作识别模型和下半身装配动作识别模型中，上半身装配动作识别模型和下半身装配动作识别模型分别对输入的传感器数据进行动作类别的预测；
8、步骤六，从上半身装配动作识别模型和下半身装配动作识别模型输出的预测序列数据中提取第一列和最后一列，即帧数和动作类别；再将提取出的帧数换算为对应动作类别的工作时长；完成汽车装配动作的识别。
9、所述步骤二和步骤四中车间工人身上佩戴的传感器为
10、perceptionneuronstudio传感器；传感器采集的数据为bvh格式的人体坐标数据。
11、所述步骤一中将完整的汽车装配动作分为如下24种动作类别：电打、敲打、嵌入、连接、扭力矩、暂固、点漆、拧、按压、调整、粘贴、推拉摁、拿取、放置、单力矩、转动手臂、跪下、起身、蹲下、站起、转身、脚踏、跨步、长距离走步。
12、所述步骤一中将24种动作类别划分成上半身动作和下本身动作，其中电打、敲打、嵌入、连接、扭力矩、暂固、点漆、拧、按压、调整、粘贴、推拉摁、拿取、放置、单力矩、转动手臂为上半身动作，其中跪下、起身、蹲下、站起、转身、脚踏、跨步、长距离走步为下半身动作。
13、所述步骤二和步骤四中车间工人身上佩戴传感器的身体部位有59处，分别为：臀部、右大腿、右小腿、右脚、左大腿、左小腿、左脚、脊柱下部分、脊柱中部分、脊柱上部分、颈部下部分、颈部上部分、头部、右肩、右大臂、右前臂、右手、右拇指指根、右拇指指中、右拇指指尖、右食指掌骨、右食指指根、右食指指中、右食指指尖、右中指掌骨、右中指指根、右中指指中、右中指指尖、右无名指掌骨、右无名指指根、右无名指指中、右无名指指尖、右小指掌骨、右小指指根、右小指指中、右小指指尖、左肩、左大臂、左前臂、左手、左拇指指根、左拇指指中、左拇指指尖、左食指掌骨、左食指指根、左食指指中、左食指指尖、左中指掌骨、左中指指根、左中指指中、左中指指尖、左无名指掌骨、左无名指指根、左无名指指中、左无名指指尖、左小指掌骨、左小指指根、左小指指中、左小指指尖。
14、所述步骤三中构建的多通道一维卷积神经网络1dcnn模型结构如下：
15、多通道的一维卷积神经网络1dcnn模型使用multi-head模型，其中每一帧输入数据首先通过卷积层，该层有64个过滤器，分别使用大小为3、5和7的卷积核；卷积操作后，数据通过relu激活函数后输出；卷积层的输出经过一个dropout层，丢弃率为50％；dropout层的输出经过一个最大池化层，池化窗口大小为2；池化层的输出进入展平层，被展平为一维向量；三个head的展平层的输出经过合并层被合并成一个单一的向量；合并后的向量被送入一个全连接层，该层有24个神经元，并通过relu激活函数后输出；全连接层的输出被送入输出层，该层有n_outputs个神经元，对应于分类任务的类别数即24种动作类别，并通过softmax激活函数后输出，输出一个24元素向量，其中包含属于24种动作类别中每一种的概率；最后分别对每一种动作类别的概率进行投票，将投票次数最多的类别作为最终的输出结果。
16、所述上半身装配动作识别模型和下半身装配动作识别模型的训练过程如下：
17、步骤一，perceptionneuronstudio传感器会记录以下数据：传感器姿态四元数即四个维度上的传感器旋转值、传感器分别在三个方向上的传感器角速度、传感器分别在三个方向上的传感器速度、分别在三个方向上的关节速度、分别在三个方向上的关节位置值、骨骼姿态四元数即四个维度上的骨骼旋转值、丢包率，共21组数据；
18、每个传感器会重复采集上述21组数据，每一组数据作为一个量，全部传感器一共采集到第i帧数的1239个特征量，作为原始数据集；
19、步骤二，对原始数据进行标注，人为在原始数据集上添加一维特征量，该维特征量为动作类别的标签，得到标注训练集；
20、步骤三，将标注训练集中被标记为上半身动作类别的数据输入多通道一维卷积神经网络1dcnn模型进行训练，直至多通道一维卷积神经网络1dcnn模型对被标记为上半身动作类别的数据分类准确率达到90％以上时，得到了训练好的上半身装配动作识别模型；
21、步骤四，将标注训练集中被标记为下半身动作类别的数据输入多通道一维卷积神经网络1dcnn模型进行训练，直至多通道一维卷积神经网络1dcnn模型对被标记为下半身动作类别的数据分类准确率达到90％以上时，得到了训练好的下半身装配动作识别模型。
22、所述获取上半身装配动作识别模型的训练过程中分类准确率是指多通道一维卷积神经网络1dcnn模型输出的预测结果中预测正确的帧数除以输入数据的总帧数*100％。
23、所述获取下半身装配动作识别模型的训练过程中分类准确率是指多通道一维卷积神经本文档来自技高网...
【技术保护点】
1.多通道一维卷积神经网络1DCNN模型的汽车装配动作识别方法，其特征在于，具体包括如下内容：
2.根据权利要求1所述的多通道一维卷积神经网络1DCNN模型的汽车装配动作识别方法，其特征在于，所述步骤二和步骤四中车间工人身上佩戴的传感器为PerceptionNeuronStudio传感器；传感器采集的数据为bvh格式的人体坐标数据。
3.根据权利要求1所述的多通道一维卷积神经网络1DCNN模型的汽车装配动作识别方法，其特征在于，所述步骤一中将完整的汽车装配动作分为如下24种动作类别：电打、敲打、嵌入、连接、扭力矩、暂固、点漆、拧、按压、调整、粘贴、推拉摁、拿取、放置、单力矩、转动手臂、跪下、起身、蹲下、站起、转身、脚踏、跨步、长距离走步。
4.根据权利要求3所述的多通道一维卷积神经网络1DCNN模型的汽车装配动作识别方法，其特征在于，所述步骤一中将24种动作类别划分成上半身动作和下本身动作，其中电打、敲打、嵌入、连接、扭力矩、暂固、点漆、拧、按压、调整、粘贴、推拉摁、拿取、放置、单力矩、转动手臂为上半身动作，其中跪下、起身、蹲下、站起、转身、脚
5.根据权利要求1所述的多通道一维卷积神经网络1DCNN模型的汽车装配动作识别方法，其特征在于，所述步骤二和步骤四中车间工人身上佩戴传感器的身体部位有59处，分别为：臀部、右大腿、右小腿、右脚、左大腿、左小腿、左脚、脊柱下部分、脊柱中部分、脊柱上部分、颈部下部分、颈部上部分、头部、右肩、右大臂、右前臂、右手、右拇指指根、右拇指指中、右拇指指尖、右食指掌骨、右食指指根、右食指指中、右食指指尖、右中指掌骨、右中指指根、右中指指中、右中指指尖、右无名指掌骨、右无名指指根、右无名指指中、右无名指指尖、右小指掌骨、右小指指根、右小指指中、右小指指尖、左肩、左大臂、左前臂、左手、左拇指指根、左拇指指中、左拇指指尖、左食指掌骨、左食指指根、左食指指中、左食指指尖、左中指掌骨、左中指指根、左中指指中、左中指指尖、左无名指掌骨、左无名指指根、左无名指指中、左无名指指尖、左小指掌骨、左小指指根、左小指指中、左小指指尖。
6.根据权利要求1所述的多通道一维卷积神经网络1DCNN模型的汽车装配动作识别方法，其特征在于，所述步骤三中构建的多通道一维卷积神经网络1DCNN模型结构如下：
7.根据权利要求6所述的多通道一维卷积神经网络1DCNN模型的汽车装配动作识别方法，其特征在于，
8.根据权利要求7所述的多通道一维卷积神经网络1DCNN模型的汽车装配动作识别方法，其特征在于，所述获取上半身装配动作识别模型的训练过程中分类准确率是指多通道一维卷积神经网络1DCNN模型输出的预测结果中预测正确的帧数除以输入数据的总帧数*100％。
9.根据权利要求7所述的多通道一维卷积神经网络1DCNN模型的汽车装配动作识别方法，其特征在于，所述获取下半身装配动作识别模型的训练过程中分类准确率是指多通道一维卷积神经网络1DCNN模型输出的预测结果中预测正确的帧数除以输入数据的总帧数*100％。
...【技术特征摘要】
1.多通道一维卷积神经网络1dcnn模型的汽车装配动作识别方法，其特征在于，具体包括如下内容：
2.根据权利要求1所述的多通道一维卷积神经网络1dcnn模型的汽车装配动作识别方法，其特征在于，所述步骤二和步骤四中车间工人身上佩戴的传感器为perceptionneuronstudio传感器；传感器采集的数据为bvh格式的人体坐标数据。
3.根据权利要求1所述的多通道一维卷积神经网络1dcnn模型的汽车装配动作识别方法，其特征在于，所述步骤一中将完整的汽车装配动作分为如下24种动作类别：电打、敲打、嵌入、连接、扭力矩、暂固、点漆、拧、按压、调整、粘贴、推拉摁、拿取、放置、单力矩、转动手臂、跪下、起身、蹲下、站起、转身、脚踏、跨步、长距离走步。
4.根据权利要求3所述的多通道一维卷积神经网络1dcnn模型的汽车装配动作识别方法，其特征在于，所述步骤一中将24种动作类别划分成上半身动作和下本身动作，其中电打、敲打、嵌入、连接、扭力矩、暂固、点漆、拧、按压、调整、粘贴、推拉摁、拿取、放置、单力矩、转动手臂为上半身动作，其中跪下、起身、蹲下、站起、转身、脚踏、跨步、长距离走步为下半身动作。
5.根据权利要求1所述的多通道一维卷积神经网络1dcnn模型的汽车装配动作识别方法，其特征在于，所述步骤二和步骤四中车间工人身上佩戴传感器的身体部位有59处，分别为：臀部、右大腿、右小腿、右脚、左大腿、左小腿、左脚、脊柱下部分、脊柱中部分、脊柱上部分、颈部下部分、颈部上部分、头部、右肩、右...
【专利技术属性】
技术研发人员：姚建勋，周鼎，左安庆，丁岗，孙鹏翼，李硕，王亚鹏，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。