数据处理方法、模型训练方法、模型测试方法及装置制造方法及图纸

本公开提供了数据处理方法、模型训练方法、模型测试方法及装置。本公开涉及数据处理技术领域，具体涉及数据分析、深度学习、动作识别、动作定位、动作检测等技术领域。具体方案为：获取多个原始广播视频；对多个原始广播视频进行处理，得到多个目标视频片段；对多个目标视频片段的动作进行标注，得到多个目标视频片段分别对应的标注信息；基于多个目标视频片段和多个目标视频片段分别对应的标注信息，得到数据集。根据本公开的方案，通过对广播视频进行动作标注，能够提高数据集的数据质量，进而有助于催生更加准确的动作识别模型和动作定位模型，从而提高对密集动作检测的准确性。从而提高对密集动作检测的准确性。从而提高对密集动作检测的准确性。

【技术实现步骤摘要】
数据处理方法、模型训练方法、模型测试方法及装置


[0001]本公开涉及数据处理
，具体涉及数据分析、深度学习、动作识别、动作定位、动作检测等


技术介绍

[0002]虽然深度学习已被广泛应用于视频分析，如视频分类和动作检测，但是，体育视频中快速移动主题的密集动作检测仍然具有挑战性。同时，在视频理解领域，为了给运动员训练和体育广播提供巨大价值，对体育视频进行动作识别、动作定位以及动作检测是必要的技术手段。基于此，亟需一种更有挑战性和灵活性的数据集，作为密集动作检测的特殊基准。

技术实现思路

[0003]本公开提供了一种数据处理方法、模型训练方法、模型测试方法及装置。
[0004]根据本公开的第一方面，提供了一种数据处理方法，包括：
[0005]获取多个原始广播视频；
[0006]对多个原始广播视频进行处理，得到多个目标视频片段；
[0007]对多个目标视频片段的动作进行标注，得到多个目标视频片段分别对应的标注信息；
[0008]基于多个目标视频片段和多个目标视频片段分别对应的标注信息，得到数据集。
[0009]根据本公开的第二方面，提供了一种模型训练方法，包括：
[0010]基于数据集的至少部分数据生成训练数据集；
[0011]基于训练数据集对待训练模型进行训练，得到第一目标模型；
[0012]其中，数据集基于第一方面的数据处理方法训练得到。
[0013]根据本公开的第三方面，提供了一种模型测试方法，包括：r/>[0014]基于数据集的至少部分数据生成测试数据集；
[0015]利用测试数据集，对训练好的第二目标模型进行测试，得到测试结果；
[0016]基于测试结果调整第二目标模型的网络参数；
[0017]其中，数据集基于第一方面的数据处理方法训练得到。
[0018]根据本公开的第四方面，提供了一种数据处理装置，包括：
[0019]第一获取模块，用于获取多个原始广播视频；
[0020]处理模块，用于对多个原始广播视频进行处理，得到多个目标视频片段；
[0021]标注模块，用于对多个目标视频片段的动作进行标注，得到多个目标视频片段分别对应的标注信息；
[0022]第二获取模块，用于基于多个目标视频片段和多个目标视频片段分别对应的标注信息，得到数据集。
[0023]根据本公开的第五方面，提供了一种模型训练装置，包括：
[0024]第一生成模块，用于基于数据集的至少部分数据生成训练数据集；
[0025]训练模块，用于基于训练数据集对待训练模型进行训练，得到第一目标模型；
[0026]其中，数据集基于第一方面的数据处理方法训练得到。
[0027]根据本公开的第六方面，提供了一种模型测试装置，包括：
[0028]第二生成模块，用于基于数据集的至少部分数据生成测试数据集；
[0029]测试模块，用于利用测试数据集，对训练好的第二目标模型进行测试，得到测试结果；
[0030]调整模块，用于基于测试结果调整第二目标模型的网络参数；
[0031]其中，数据集基于第一方面的数据处理方法训练得到。
[0032]根据本公开的第七方面，提供了一种电子设备，包括：至少一个处理器；与至少一个处理器通信连接的存储器；存储器存储有可以被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面提供的数据处理方法和/或第二方面提供的模型训练方法和/或第三方面提供的模型测试方法。
[0033]根据本公开的第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行第一方面提供的数据处理方法和/或第二方面提供的模型训练方法和/或第三方面提供的模型测试方法。
[0034]根据本公开的第九方面，提供了一种计算机程序产品，包括存储在存储介质上的计算机程序，该计算机程序在被处理器执行时实现第一方面提供的数据处理方法和/或第二方面提供的模型训练方法和/或第三方面提供的模型测试方法。
[0035]根据本公开的技术方案，相对于采用自录制视频进行标注得到动作数据集的处理方式而言，通过对广播视频进行标注，能够提高数据集的数据质量，进而有助于催生更加准确的动作识别模型和动作定位模型，从而提高对密集动作检测的准确性。
[0036]上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
[0037]在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
[0038]图1是根据本公开实施例的数据处理方法的流程示意图；
[0039]图2是根据本公开实施例的标注工具中的时间线标签的示意图；
[0040]图3是根据本公开实施例的标注工具中的自定义标签格式的示意图；
[0041]图4是根据本公开实施例的乒乓球动作数据集的动作分类示意图；
[0042]图5是根据本公开实施例的数据集连续帧中的“侧旋发球”动作示意图；
[0043]图6是根据本公开实施例的数据集中14类的动作数量及持续时间的排序分布示意图；
[0044]图7是根据本公开实施例的数据集中发球类、非发球类、组合类的动作数量的排序分布示意图；
[0045]图8是根据本公开实施例的乒乓球动作数据集中的相机角度示意图；
[0046]图9是根据本公开实施例的数据集中动作/击球的持续时间分布示意图；
[0047]图10是根据本公开实施例的每回合动作/击球的密度的示意图；
[0048]图11是根据本公开实施例的数据集上的动作检测流程示意图；
[0049]图12是根据本公开实施例的动作识别结果的混淆矩阵的对比示意图；
[0050]图13是根据本公开实施例的模型训练方法的流程示意图；
[0051]图14是根据本公开实施例的模型测试方法的流程示意图；
[0052]图15是根据本公开实施例的数据处理装置的结构示意图；
[0053]图16是根据本公开实施例的模型训练装置的结构示意图；
[0054]图17是根据本公开实施例的模型测试装置的结构示意图；
[0055]图18是根据本公开实施例的数据处理方法的场景示意图；
[0056]图19是根据本公开实施例的模型训练方法的场景示意图；
[0057]图20是根据本公开实施例的模型测试方法的场景示意图；
[0058]图21是用来实现本公开实施例的数据处理方法和/或模型训练方法和/或模型测试方法的电子设备的结构示意图。
具体实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：获取多个原始广播视频；对所述多个原始广播视频进行处理，得到多个目标视频片段；对所述多个目标视频片段的动作进行标注，得到所述多个目标视频片段分别对应的标注信息；基于所述多个目标视频片段和所述多个目标视频片段分别对应的所述标注信息，得到数据集。2.根据权利要求1所述的方法，其中，所述对所述多个目标视频片段的动作进行标注，包括：通过预先构建的标注工具展示每个目标视频片段；获取通过所述标注工具输入的针对每个所述目标视频片段的动作的第一类标注信息，所述第一类标注信息包括类别信息和时间信息；保存所述第一类标注信息。3.根据权利要求2所述的方法，其中，所述对所述多个目标视频片段的动作进行标注，还包括：获取通过所述标注工具输入的针对每个所述目标视频片段的动作的第二类标注信息，所述第二类标注信息包括每个动作对应的辅助信息；保存所述第二类标注信息。4.根据权利要求2所述的方法，还包括：将动作分为发球类动作和非发球类动作；将所述发球类动作确定为一个动作类别；以及将所述非发球类动作中的每个动作确定为一个动作类别。5.根据权利要求2所述的方法，还包括：将动作分为发球类动作和非发球类动作；将所述发球类动作中的每个动作确定为一个动作类别，以及将所述非发球类动作中的每个动作确定为一个动作类别。6.根据权利要求1所述的方法，其中，所述对所述多个原始广播视频进行处理，得到多个目标视频片段，包括：对所述多个原始广播视频进行分割，得到所述多个原始广播视频分别对应的多个时长为第一阈值的候选视频片段；从所述多个原始广播视频分别对应的多个所述候选视频片段中，筛选出分辨率满足第二阈值且视频内容满足预设条件的候选视频片段，作为所述目标视频片段。7.根据权利要求6所述的方法，其中，所述预设条件包括以下至少之一：拍摄角度为顶视图；比赛类型为单打比赛；具有音轨和音频信息；动作完整。8.根据权利要求1所述的方法，还包括：建立交互界面；
基于所述交互界面，创建用于展示所述目标视频片段的时间线标签；基于所述交互界面以及所述时间线标签，在创建的窗口中，实时输出所述目标视频片段的画面。9.根据权利要求8所述的方法，还包括：响应于检测到标签设置操作，在所述交互界面输出自定义标签格式窗口；获取针对所述自定义标签格式窗口的输入操作；基于所述输入操作配置用于标注的标签。10.根据权利要求8或9所述的方法，其中，所述对所述多个目标视频片段的动作进行标注，包括：基于标注工具获取所有的动作类别；在所述标注工具的交互界面中输出所述目标视频片段；响应于确定所述动作属于所述动作类别中的一种，基于接收到的标注操作在所述动作出现的时间处进行动作和时间标注。11.根据权利要求1所述的方法，还包括：获取所述数据集中所述原始广播视频的第一相关参数和所述目标视频片段的第二相关参数；基于所述第一相关参数和所述第二相关参数对所述数据集进行分析，得到分析结果；根据所述分析结果，确定动作基准特征。12.根据权利要求11所述的方法，其中，所述第一相关参数，包括以下至少之一：所述原始广播视频的数量，所述原始广播视频的来源，所述原始广播视频的质量。13.根据权利要求11所述的方法，其中，所述第二相关参数，包括以下至少之一：所述目标视频片段的数量、所述目标视频片段中动作类别的持续时长、所述目标视频片段中动作类别的分布、所述目标视频片段中动作类别的密度。14.根据权利要求11所述的方法，还包括：基于所述动作基准特征，构建动作基线模型。15.根据权利要求14所述的方法，其中，所述动作基线模型包括第一动作基线模型，所述方法还包括：确定用于评估动作识别任务的第一性能指标；基于所述第一性能指标评估所述第一动作基线模型的动作识别任务，得到所述第一动作基线模型的第一评估结果。16.根据权利要求14所述的方法，其中，所述动作基线模型包括第二动作基线模型，所述方法还包括：确定用于评估动作定位任务的第二性能指标；基于所述第二性能指标评估所述第二动作基线模型的动作定位任务，得到所述第二动作基线模型的第二评估结果。17.根据权利要求1所述的方法，还包括：通过定义的动作类别数量确定抽样数量范围；在所述抽样数量范围内确定各类别动作的实际数量；基于所述各类别动作的实际数量，从所述数据集中取样，得到各类别动作对应的训练
样本。18.根据权利要求17所述的方法，其中，所述通过定义的动作类别数量确定抽样数量范围，包括：确定所述定义的动作类别数量对应的所有动作类别的样本的平均值；基于所述平均值确定所述抽样数量范围。19.根据权利要求17所述的方法，其中，所述基于所述各类别动作的实际数量，从所述数据集中取样，包括：对于实际数量少于第一数量阈值的类别，通过随机向上采样方式从所述数据集中取样，使实际数量达到所述抽样数量范围，所述抽样数量范围的最小值为所述第一数量阈值；对于实际数量超过第二数量阈值的类别，通过随机向下采样方式从所述数据集中取样，使实际数量达到所述抽样数量范围，所述抽样数量范围的最大值为所述第二数量阈值。20.一种模型训练方法，包括：基于数据集的至少部分数据生成训练数据集；基于所述训练数据集对待训练模型进行训练，得到第一目标模型；其中，所述数据集基于权利要求1至19任一项所述的数据处理方法得到。21.根据权利要求20所述的方法，其中，所述第一目标模型包括以下至少之一：动作识别模型、动作定位模型、动作检测模型。22.一种模型测试方法，包括：基于数据集的至少部分数据生成测试数据集；利用所述测试数据集，对训练好的第二目标模型进行测试，得到测试结果；基于所述测试结果调整所述第二目标模型的网络参数；其中，所述数据集基于权利要求1至19任一项所述的数据处理方法得到。23.根据权利要求22所述的方法，其中，所述第二目标模型包括以下至少之一：动作识别模型、动作定位模型、动作检测模型。24.一种数据处理装置，包括：第一获取模块，用于获取多个原始广播视频；处理模块，用于对所述多个原始广播视频进行处理，得到多个目标视频片段；标注模块，用于对所述多个目标视频片段的动作进行标注，得到所述多个目标视频片段分别对应的标注信息；第二获取模块，用于基于所述多个目标视频片段和所述多个目标视频片段分别对应的所述标注信息，得到数据集。25.根据权利要求24所述的装置，其中，所述标注模块，包括：展示子模块，用于通过预先构建的标注工具展示每个目标视频片段；第一获取子模块，用于获取通过所述标注工具输入的针对每个所述目标视频片段的动作的第一类标注信息，所述第一类标注信息包括类别信息和时间信息；第一保存子模块，用于...

【专利技术属性】
技术研发人员：边江，熊昊一，王庆忠，贠瑜晖，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：