一种基于多源数据的操作训练效果评估方法及系统技术方案

本发明专利技术公开一种基于多源数据的操作训练效果评估方法及系统，涉及训练评估领域，该方法包括：获取操作训练过程中的操作视频、装备日志和人工录入信息；将待评估视频数据输入基于操作视频的单源效果评估模型，获得视频评分；将待评估日志数据输入基于装备日志的单源效果评估模型，获得日志评分；将人工录入信息输入基于人工录入信息的单源效果评估模型，获得人工录入评分；对视频评分、装备评分和人工录入评分进行数据源一致性评估；将通过数据源一致性评估的评分输入多源决策融合模型，得到评估结果分数。本发明专利技术提高了评估结果的可靠性。性。性。

【技术实现步骤摘要】
一种基于多源数据的操作训练效果评估方法及系统


[0001]本专利技术涉及训练评估
，特别是涉及一种基于多源数据的操作训练效果评估方法及系统。

技术介绍

[0002]训练效果评估，是对训练效果的评议和估量。评估对象的多元性和评估类型的多样性，决定了实施训练评估的复杂性、困难性。训练效果评估作为训练过程的重要环节，通常运用多种分析手段，计算和评估训练任务达到预期目的的程度。其评估结果是牵引和推动训练手段持续改进，提升训练效果的重要依据。
[0003]目前有关训练效果的评估方法大多基于单源数据进行分析，如河北砺兵科技有限责任公司的梁伟等人，使用射击采集装置接收的数据信息对实弹射击训练效果进行评估；中国人民解放军海军工程大学的傅晟威等人，在模板设定模块中场景对应的评估指标基础上，进行指标权重设计等，使用评估原始数据实现训练效果评估；安徽动感智能科技有限公司的李锋刚，提出一种基于影像信息处理的康复训练效果评估方法，实现基于非结构化数据的效果评估。多源数据融合评估方法相对较少，中电普信（北京）科技发展有限公司的王运春等人，提出一种融合训练过程中采集到的指标数据和专家打分得到的指标数据的评估方法，实现了基于主客观多源数据的融合，但没有实现多模态数据间的融合及多源数据之间的一致性评估。

技术实现思路

[0004]本专利技术的目的是提供一种基于多源数据的操作训练效果评估方法及系统，提高了评估结果的可靠性。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种基于多源数据的操作训练效果评估方法，包括：
[0007]获取操作训练过程中的操作视频、装备日志和人工录入信息；所述操作视频包括多个采集设备采集的操作视频，所述装备日志包括多种装备的日志数据，所述人工录入信息为多种固定表单数据；
[0008]分别将各采集设备采集的操作视频转化为统一格式的视频流信号；
[0009]从各所述视频流信号中提取关键帧，获得待评估视频数据；
[0010]采用基于聚类的日志解析方法对不同格式的日志数据进行特征提取，从提取出的特征字段中筛选出设定需求字段并获得设定需求字段对应的数值，获得待评估日志数据；
[0011]将人工录入信息转换为格式化数据，获得待评估录入数据；
[0012]将待评估视频数据输入基于操作视频的单源效果评估模型，获得视频评分，所述基于操作视频的单源效果评估模型是根据视频数据集训练确定的；所述视频数据集中样本数据包括视频数据和与视频数据对应的标签；
[0013]将待评估日志数据输入基于装备日志的单源效果评估模型，获得日志评分，所述
基于装备日志的单源效果评估模型是根据装备日志数据集训练确定的；所述装备日志数据集中样本数据包括装备日志数据和与装备日志数据对应的标签；
[0014]将待评估录入数据输入基于人工录入信息的单源效果评估模型，获得人工录入评分，所述基于人工录入信息的单源效果评估模型是根据人工录入信息数据集训练确定的；所述人工录入信息数据集中样本数据包括人工录入信息的格式化数据和与人工录入信息的格式化数据对应的标签；
[0015]对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估；
[0016]将通过数据源一致性评估的评分输入多源决策融合模型，得到评估结果分数；所述多源决策融合模型是根据多源评估数据集训练确定的。
[0017]可选地，对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估，具体包括：
[0018]采用所述视频数据集、所述装备日志数据集和所述人工录入信息数据集中的标签数据进行三维曲面的拟合，获得拟合曲面；
[0019]分别判断所述视频评分、所述装备评分和所述人工录入评分与所述拟合曲面的偏离是否大于设定阈值，若大于设定阈值，则剔除大于设定阈值对应的评分，获得通过数据源一致性评估的评分。
[0020]可选地，对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估，具体包括：
[0021]采用所述视频数据集、所述装备日志数据集和所述人工录入信息数据集中任意两个数据集的标签数据进行二维曲线的拟合，获得三个拟合曲线；
[0022]在操作视频、装备日志和人工录入信息中任意来源数据缺失情况下，使用对应二维曲线进行数据源一致性评估：判断所述视频评分、所述装备评分或所述人工录入评分与对应所述拟合曲线的偏离是否大于设定阈值，若大于设定阈值，则剔除大于设定阈值对应的评分，获得通过数据源一致性评估的评分。
[0023]可选地，所述从各所述视频流信号中提取关键帧，获得待评估视频数据，具体包括：
[0024]从各所述视频流信号中选择视频镜头中光流移动次数最少的视频帧作为关键帧。
[0025]可选地，所述基于操作视频的单源效果评估模型的训练过程包括：
[0026]采用视频数据集，以关键帧构成的视频数据为输入，以视频评分为输出训练基于Yolact++特征提取的反向传播网络，获得基于操作视频的单源效果评估模型；所述网络的训练过程中采用关键帧提取与评分预测的联合损失作为优化目标，所述联合损失包括关键帧提取损失函数和回归损失函数，其中SmoothL1作为关键帧提取损失函数，均方差作为反向传播网络输出评分的回归损失函数。
[0027]可选地，所述基于装备日志的单源效果评估模型的训练过程包括：
[0028]采用装备日志数据集，以解析日志获得的设定需求字段对应的数值为输入，以装备评分为输出训练岭回归模型，获得基于装备日志的单源效果评估模型。
[0029]可选地，所述基于人工录入信息的单源效果评估模型的训练过程包括：
[0030]采用人工录入信息数据集，以人工录入信息的格式化数据为输入，以人工录入评分为输出，基于梯度下降的方法训练云重心评估模型，获得基于人工录入信息的单源效果
评估模型。
[0031]本专利技术还公开了一种基于多源数据的操作训练效果评估系统，包括：
[0032]数据获取模块，用于获取操作训练过程中的操作视频、装备日志和人工录入信息；所述操作视频包括多个采集设备采集的操作视频，所述装备日志包括多种装备的日志数据，所述人工录入信息为多种固定表单数据；
[0033]视频信号统一模块，用于分别将各采集设备采集的操作视频转化为统一格式的视频流信号；
[0034]待评估视频数据确定模块，用于从各所述视频流信号中提取关键帧，获得待评估视频数据；
[0035]待评估日志数据确定模块，用于采用基于聚类的日志解析方法对不同格式的日志数据进行特征提取，从提取出的特征字段中筛选出设定需求字段并获得设定需求字段对应的数值，获得待评估日志数据；
[0036]待评估录入数据确定模块，用于将人工录入信息转换为格式化数据，获得待评估录入数据；
[0037]视频评分确定模块，用于将待评估视频数据输入基于操作视频的单源效果评估模型，获得视频评分，所述基于操作视频的单源效果评估模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源数据的操作训练效果评估方法，其特征在于，包括：获取操作训练过程中的操作视频、装备日志和人工录入信息；所述操作视频包括多个采集设备采集的操作视频，所述装备日志包括多种装备的日志数据，所述人工录入信息为多种固定表单数据；分别将各采集设备采集的操作视频转化为统一格式的视频流信号；从各所述视频流信号中提取关键帧，获得待评估视频数据；采用基于聚类的日志解析方法对不同格式的日志数据进行特征提取，从提取出的特征字段中筛选出设定需求字段并获得设定需求字段对应的数值，获得待评估日志数据；将人工录入信息转换为格式化数据，获得待评估录入数据；将待评估视频数据输入基于操作视频的单源效果评估模型，获得视频评分，所述基于操作视频的单源效果评估模型是根据视频数据集训练确定的；所述视频数据集中样本数据包括视频数据和与视频数据对应的标签；将待评估日志数据输入基于装备日志的单源效果评估模型，获得日志评分，所述基于装备日志的单源效果评估模型是根据装备日志数据集训练确定的；所述装备日志数据集中样本数据包括装备日志数据和与装备日志数据对应的标签；将待评估录入数据输入基于人工录入信息的单源效果评估模型，获得人工录入评分，所述基于人工录入信息的单源效果评估模型是根据人工录入信息数据集训练确定的；所述人工录入信息数据集中样本数据包括人工录入信息的格式化数据和与人工录入信息的格式化数据对应的标签；对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估；将通过数据源一致性评估的评分输入多源决策融合模型，得到评估结果分数；所述多源决策融合模型是根据多源评估数据集训练确定的。2.根据权利要求1所述的基于多源数据的操作训练效果评估方法，其特征在于，对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估，具体包括：采用所述视频数据集、所述装备日志数据集和所述人工录入信息数据集中的标签数据进行三维曲面的拟合，获得拟合曲面；分别判断所述视频评分、所述装备评分和所述人工录入评分与所述拟合曲面的偏离是否大于设定阈值，若大于设定阈值，则剔除大于设定阈值对应的评分，获得通过数据源一致性评估的评分。3.根据权利要求1所述的基于多源数据的操作训练效果评估方法，其特征在于，对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估，具体包括：采用所述视频数据集、所述装备日志数据集和所述人工录入信息数据集中任意两个数据集的标签数据进行二维曲线的拟合，获得三个拟合曲线；在操作视频、装备日志和人工录入信息中任意来源数据缺失情况下，使用对应二维曲线进行数据源一致性评估：判断所述视频评分、所述装备评分或所述人工录入评分与对应所述拟合曲线的偏离是否大于设定阈值，若大于设定阈值，则剔除大于设定阈值对应的评分，获得通过数据源一致性评估的评分。4.根据权利要求1所述的基于多源数据的操作训练效果评估方法，其特征在于，所述从各所述视频流信号中提取关键帧，获得待评估视频数据，具体包括：
从各所述视频流信号中选择视频镜头中光流移动次数最少的视频帧作为关键帧。5.根据权利要求1所述的基于多源数据的操作训练效果评...

【专利技术属性】
技术研发人员：李晓军，苏逸，姚俊萍，董成荣，
申请(专利权)人：中国人民解放军火箭军工程大学，
类型：发明
国别省市：