样本生成、模型训练、动作识别方法和装置制造方法及图纸

本公开提供了样本生成方法和装置，涉及视频处理技术领域。具体实现方案为：获取视频流数据，视频流数据标注有至少一项目标动作的帧数区间；在视频流数据中，提取视频帧序列；基于视频帧序列与至少一项目标动作中各目标动作的帧数区间的重合率生成置信度向量；根据置信度向量对视频帧序列进行标注，得到训练样本。该方式提高了生成的训练样本所包括动作信息的全面性和丰富性。的全面性和丰富性。的全面性和丰富性。

【技术实现步骤摘要】
样本生成、模型训练、动作识别方法和装置


[0001]本公开涉及人工智能
，具体涉及视频处理
，尤其涉及一种样本生成、模型训练、动作识别方法和装置。

技术介绍

[0002]目前深度学习动作识别有以下几种具有代表性的方法，主要用于识别视频中包含一个完整的动作，时间较短且有唯一的标签的视频：
[0003]1.时空双流方法：在空间部分，以单个帧上的外观形式，携带了视频描绘的场景和目标信息。其自身静态外表是一个很有用的线索，因为一些动作很明显地与特定的目标有联系。在时间部分，以多帧上的运动形式，表达了观察者(摄像机)和目标者的运动。
[0004]2.空时注意力模型：时域注意力部分，通过一个LSTM(Long Short
‑
Term Memory，长短期记忆)子网络来自动学习和获知序列中不同帧的重要性，使重要的帧在分类中起更大的作用，以优化识别的精度。空域注意力部分，设计了一个LSTM子网络，依据序列的内容自动给不同关节点分配不同的重要性，即给予不同的注意力。
[0005]3.3D卷积网络：将经典卷积神经网络中的2D卷积替换为3D卷积，可以直接提取若干连续帧的联合特征，从而实现视频中动作的判断。

技术实现思路

[0006]本公开实施例提供了一种样本生成方法、装置、设备以及存储介质。
[0007]第一方面，本公开实施例提供了一种样本生成方法，该方法包括：获取视频流数据，视频流数据标注有至少一项目标动作的帧数区间；在所述视频流数据中，提取视频帧序列；基于视频帧序列与至少一项目标动作中各目标动作的帧数区间的重合率生成置信度向量；根据置信度向量对视频帧序列进行标注，得到训练样本。
[0008]第二方面，本公开实施例提供了一种模型训练方法，该方法包括：获取训练样本集，训练样本是如上述第一方面任一实现方式描述的方法得到的训练样本；将训练样本集中训练样本包括的视频帧序列作为输入，将与输入的视频帧序列对应的置信度向量作为期望输出，对初始动作识别模型进行训练，得到训练完成的动作识别模型。
[0009]第三方面，本公开实施例提供了一种动作识别方法，该方法包括：获取待识别视频帧序列；将待识别视频帧序列输入动作识别模型，得到置信度向量，其中，动作识别模型是如上述第二方面任一实现方式描述的方法得到的动作识别模型。
[0010]第四方面，本公开实施例提供了一种样本生成装置，该装置包括：第一获取模块，被配置成获取视频流数据，视频流数据标注有至少一项目标动作的帧数区间；提取序列模块，被配置成在视频流数据中，提取视频帧序列；生成向量模块，被配置成基于视频帧序列与至少一项目标动作中各目标动作的帧数区间的重合率生成置信度向量；确定样本模块，被配置成根据置信度向量对视频帧序列进行标注，得到训练样本。
[0011]第五方面，本公开实施例提供了一种模型训练装置，该装置包括：第二获取模块，
被配置成获取训练样本集，训练样本是如上述第一方面任一实现方式描述的方法得到的训练样本；训练模型模块，被配置成将训练样本集中训练样本包括的视频帧序列作为输入，将与输入的视频帧序列对应的置信度向量作为期望输出，对初始动作识别模型进行训练，得到训练完成的动作识别模型
[0012]第六方面，本公开实施例提供了一种动作识别装置，该装置包括：第三获取模块，被配置成获取待识别视频帧序列；识别动作模块，被配置成将待识别视频帧序列输入动作识别模型，得到置信度向量，其中，动作识别模型是如上述第二方面任一实现方式描述的方法得到的动作识别模型。
[0013]第七方面，本公开实施例提供了一种电子设备，该电子设备包括一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被该一个或多个处理器执行，使得一个或多个处理器实现如第一方面或第二方面或第三方面中任一实现方式描述的方法。
[0014]第八方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面或第三方面中任一实现方式描述的方法。
[0015]第九方面，本公开实施例提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面或第二方面或第三方面中任一实现方式描述的方法。
[0016]本公开的实施例提供的样本生成方法和装置，有效提高了生成的训练样本所包括动作信息的全面性和丰富性。
[0017]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的说明书而变得容易理解。
附图说明
[0018]图1是本公开可以应用于其中的示例性系统架构图；
[0019]图2是根据本公开的样本生成方法的一个实施例的流程图；
[0020]图3是根据本公开的样本生成方法的一个应用场景的示意图；
[0021]图4是根据本公开的样本生成方法的又一个实施例的流程图；
[0022]图5是根据本公开的模型训练方法的一个实施例的流程图；
[0023]图6是根据本公开的动作识别方法的一个实施例的流程图；
[0024]图7是根据本公开的样本生成装置的一个实施例的示意图；
[0025]图8是根据本公开的模型训练装置的一个实施例的示意图；
[0026]图9是根据本公开的动作识别装置的一个实施例的示意图；
[0027]图10是适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0028]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0029]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相
互组合。下面将参考附图并结合实施例来详细说明本公开。
[0030]图1示出了可以应用本公开的样本生成方法的实施例的示例性系统架构100。
[0031]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0032]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如，视频播放类应用、通信类应用等。
[0033]终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于手机和笔记本电脑。当终端设备101、102、1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种样本生成方法，包括：获取视频流数据，所述视频流数据标注有至少一项目标动作的帧数区间；在所述视频流数据中，提取视频帧序列；基于所述视频帧序列与所述至少一项目标动作中各目标动作的帧数区间的重合率生成置信度向量；根据所述置信度向量对所述视频帧序列进行标注，得到训练样本。2.根据权利要求1所述的方法，其中，所述基于所述视频帧序列与所述至少一项目标动作中各目标动作的帧数区间的重合率生成置信度向量，包括：基于所述视频帧序列与所述至少一项目标动作中各目标动作的帧数区间的重合率，及所述视频帧序列与背景帧数区间的重合率生成置信度向量。3.根据权利要求2所述的方法，其中，所述基于所述视频帧序列与所述至少一项目标动作中各目标动作的帧数区间的重合率，及所述视频帧序列与背景帧数区间的重合率生成置信度向量，包括：基于所述视频帧序列与所述至少两项目标动作中各目标动作的帧数区间的重合率，及所述视频帧序列与背景帧数区间的重合率生成置信度向量。4.根据权利要求1所述的方法，其中，所述基于所述视频帧序列与所述至少一项目标动作中各目标动作的帧数区间的重合率生成置信度向量，包括：基于所述视频帧序列与所述至少两项目标动作中各目标动作的帧数区间的重合率生成置信度向量。5.一种模型训练方法，包括：获取训练样本集，所述训练样本是如权利要求1
‑
4之一所述的方法得到的训练样本；将所述训练样本集中训练样本包括的视频帧序列作为输入，将与输入的视频帧序列对应的置信度向量作为期望输出，对初始动作识别模型进行训练，得到训练完成的动作识别模型。6.一种动作识别方法，包括：获取待识别视频帧序列；将所述待识别视频帧序列输入动作识别模型，得到置信度向量，其中，所述动作识别模型是如权利要求6所述的方法得到的动作识别模型。7.一种样本生成装置，包括：第一获取模块，被配置成获取视频流数据，所述视频流数据标注有至少一项目标动作的帧数区间；提取序列模块，被配置成在所述视频流数据中，提取视频帧序列；生成向量模块，被配置成基于所述视频帧序列与所述至少一项目标动作中各目标动作的帧数区间的重合...

【专利技术属性】
技术研发人员：吕以豪，卢飞翔，刘宗岱，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：