一种样本生成方法技术

本申请提供的一种样本生成方法

【技术实现步骤摘要】
一种样本生成方法、训练方法、识别方法及装置


[0001]本申请涉及样本生成
，特别地涉及一种样本生成方法
、
训练方法
、
识别方法及装置
。

技术介绍

[0002]作业风险监测领域中，传统方法是通过管理人员巡检以及查看现场视频的方法来检查是否存在安全风险，这些检查方法虽有一定的安全管理效果，但也存在工作效率较低
、
数据不准确的问题
。
随着深度学习的快速发展，采用深度学习的智能监测方法在作业风险监测领域得到广泛运用，但基于深度学习的方法需要大量的数据训练检测模型才能达到理想的检测识别效果，因此方便快捷的构建数据集对作业风险监测具有重大的安全和经济意义
。
相关技术中，虚拟人物训练样本得到的虚拟人物特征与真实人物训练样本得到真实人物特征之间存在差异，影响检测模型训练效果
。

技术实现思路

[0003]针对上述问题，本申请提供一种样本生成方法
、
训练方法
、
识别方法及装置
。
[0004]本申请提供了一种样本生成方法，所述方法包括：
[0005]获取存在目标行为的第一人物图像
、
不存在目标行为的第二人物图像和目标环境图像；
[0006]提取所述第一人物图像
、
所述第二人物图像的姿态信息；
[0007]将所述姿态信息和符合正态分布的随机噪声输入人体生成网络，生成符合所述姿态信息的虚拟人体图像；
[0008]将所述虚拟人体图像
、
所述目标环境图像和人体坐标信息输入背景融合网络，生成虚拟人物工作图像；
[0009]为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像；
[0010]基于带有标注信息的所述虚拟人物工作图像，生成样本训练集
。
[0011]在一些实施例中，所述人体生成网络包括第一生成器和第一判断器，所述方法包括：
[0012]获取存在目标行为的第一样本人物图像和不存在目标行为的第二样本人物图像；
[0013]提取所述第一样本人物图像
、
所述第二样本人物图像的样本真实人体图像和样本人体姿态信息；
[0014]将所述样本人体姿态信息和符合正态分布的样本随机噪声输入所述第一生成器，生成符合所述样本姿态信息的样本虚拟人体图像；
[0015]将所述样本真实人体图像或所述样本虚拟人体图像输入第一判别器，输出第一概率；
[0016]根据所述样本虚拟人体图像与对应的所述第一样本人物图像或所述第二样本人
物图像的对比结果通过反向梯度计算更新所述第一生成器的权重，根据所述第一概率通过反向梯度计算更新所述第一判别器的权重；
[0017]重复上述步骤，直到所述人体生成网络收敛
。
[0018]在一些实施例中，所述背景融合网络包括第二生成器和第二判断器，所述方法包括：
[0019]获取样本目标环境图像
、
样本真实人物工作图像
、
样本人体坐标信息和样本虚拟人体图像，其中，所述样本虚拟人体图像为所述人体生成网络所生成；
[0020]将所述样本目标环境图像
、
所述样本虚拟人体图像和所述样本人体坐标信息输入所述第二生成器，生成样本虚拟人物工作图像；
[0021]将所述样本虚拟人物工作图像或所述样本真实人物工作图像输入到所述第二判断器，输出第二概率；
[0022]根据所述样本虚拟人物工作图像与对应的样本真实人物工作图像的对比结果通过反向梯度计算更新所述第二生成器，根据所述第二概率通过反向梯度计算更新所述第二判别器的权重；
[0023]重复上述步骤，直到所述背景融合网络收敛
。
[0024]在一些实施例中，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像之前，所述方法包括：
[0025]对所述虚拟人物工作图像进行预处理，所述预处理包括随机旋转
、
平移
、
明暗变化或
/
和加噪
。
[0026]在一些实施例中，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像，包括：
[0027]获取所述虚拟人物工作图像中所述虚拟人体图像的人体坐标信息和行为信息，其中，所述人体坐标信息包括所述虚拟人体图像位于所述目标环境图像中的人体坐标位置和所述虚拟人体图像的宽度值和高度值，所述行为信息为所述虚拟人体图像存在的目标行为；
[0028]基于所述人体坐标信息和行为信息，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像
。
[0029]本申请实施例提供一种训练方法，应用上述所述样本训练集，检测模型包括人体检测模型和行为识别模型，所述方法包括：
[0030]统计所述样本训练集中所有所述虚拟人物工作图像的标注信息，根据所述标注信息获得标注的目标框的宽度值和高度值；
[0031]对所述目标框的宽度值和高度值进行
K
‑
Means
聚类分析，得到多个锚框的宽度值和高度值；
[0032]将所述样本训练集中所述虚拟人物工作图像输入所述人体检测模型，基于多个所述锚框的宽度和高度值，得到不同尺度下人体的预测框和置信度；
[0033]计算所述预测框损失值和置信度损失值，根据所述预测框损失值和置信度损失值进行梯度计算更新所述人体检测模型权重；
[0034]重复以上训练步骤，直到所述预测框损失值和置信度损失值收敛或达到指定训练次数；
[0035]将存在目标行为的所述虚拟人物工作图像输入所述人体检测模型，输出人体图像；
[0036]将所述人体图像输入所述行为识别模型，输出第三概率；
[0037]计算所述第三概率的第三损失值，根据所述第三损失值进行梯度计算更新行为识别模型权重；
[0038]重复以上训练步骤，直到所述第三损失值收敛或达到指定训练次数
。
[0039]本申请实施例提供一种识别方法，应用上述所述检测模型，所述方法包括：
[0040]获取目标环境的监控视频并进行解码，获取单帧图像；
[0041]对单帧图像进行自适应图片缩放
、
像素归一化的预处理；
[0042]将预处理后的单帧图像输入所述检测模型，输出存在目标行为的概率
。
[0043]在一些实施例中，所述将预处理后的单帧图像输入所述检测模型，输出存在目标行为的概率之后，所述方法包括：
[0044]将所述概率与预设阈值比较；
[0045]若所述概率大于所述预设阈值，则生成报警信息
。
[0046]本申请实施例提供一种样本生成装置，包括：
[0047]第一获取模块，用于获取存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种样本生成方法，其特征在于，所述方法包括：获取存在目标行为的第一人物图像
、
不存在目标行为的第二人物图像和目标环境图像；提取所述第一人物图像
、
所述第二人物图像的姿态信息；将所述姿态信息和符合正态分布的随机噪声输入人体生成网络，生成符合所述姿态信息的虚拟人体图像；将所述虚拟人体图像
、
所述目标环境图像和人体坐标信息输入背景融合网络，生成虚拟人物工作图像；为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像；基于带有标注信息的所述虚拟人物工作图像，生成样本训练集
。2.
根据权利要求1所述的方法，其特征在于，所述人体生成网络包括第一生成器和第一判断器，所述方法包括：获取存在目标行为的第一样本人物图像和不存在目标行为的第二样本人物图像；提取所述第一样本人物图像
、
所述第二样本人物图像的样本真实人体图像和样本人体姿态信息；将所述样本人体姿态信息和符合正态分布的样本随机噪声输入所述第一生成器，生成符合所述样本姿态信息的样本虚拟人体图像；将所述样本真实人体图像或所述样本虚拟人体图像输入第一判别器，输出第一概率；根据所述样本虚拟人体图像与对应的所述第一样本人物图像或所述第二样本人物图像的对比结果通过反向梯度计算更新所述第一生成器的权重，根据所述第一概率通过反向梯度计算更新所述第一判别器的权重；重复上述步骤，直到所述人体生成网络收敛
。3.
根据权利要求1所述的方法，其特征在于，所述背景融合网络包括第二生成器和第二判断器，所述方法包括：获取样本目标环境图像
、
样本真实人物工作图像
、
样本人体坐标信息和样本虚拟人体图像，其中，所述样本虚拟人体图像为所述人体生成网络所生成；将所述样本目标环境图像
、
所述样本虚拟人体图像和所述样本人体坐标信息输入所述第二生成器，生成样本虚拟人物工作图像；将所述样本虚拟人物工作图像或所述样本真实人物工作图像输入到所述第二判断器，输出第二概率；根据所述样本虚拟人物工作图像与对应的样本真实人物工作图像的对比结果通过反向梯度计算更新所述第二生成器，根据所述第二概率通过反向梯度计算更新所述第二判别器的权重；重复上述步骤，直到所述背景融合网络收敛
。4.
根据权利要求1所述的方法，其特征在于，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像之前，所述方法包括：对所述虚拟人物工作图像进行预处理，所述预处理包括随机旋转
、
平移
、
明暗变化或
/
和加噪
。
5.
根据权利要求1所述的方法，其特征在于，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像，包括：获取所述虚拟人物工作图像中所述虚拟人体图像的人体坐标信息和行为信息，其中，所述人体坐标信息包括所述虚拟人体图像位于所述目标环境图像中的人体坐标位置和所述虚拟人体图像的宽度值和高度值，所述行为信息为所述虚拟人体图像存在的目标行为；基于所述人体坐标信息和行为信息，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像
。6.
一种训练方法，其特征在于，应用权利要求1‑5任意一项的样本训练集，检测模型包括人体检测模型和行为识别模型，所述方法包括：统计所述样本训练集中所有所述虚拟人物工作图像的标注信息，根据所述标注信息获得标注的目标框的宽度值和高度值；对所述目标框的宽度值和高度值进行
K
‑
Means
聚类分析，得到多个锚框的宽度值和高度值；将所述样本训练集中所述虚拟人物工作图像输入所述人体检测模型，基于多个所述锚框的宽度和高度值，得到不同尺度下人体的预测框和置信度；计算所述预测框损失值和置信度损失值，根据所述预测框损...

【专利技术属性】
技术研发人员：刘鹏，庞坤，刘艺，赵晖，陈健学，
申请(专利权)人：国能天津港务有限责任公司，
类型：发明
国别省市：