一种实时事件流识别方法及系统技术方案

本发明专利技术提供一种实时事件流识别方法及系统，包括：确定待识别个体事件；将所述待识别个体事件输入至预先训练好的事件流检测模型，得到个体事件识别结果；其中，所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后，将所述融合特征进行边界匹配，并基于个体自适应元学习进行分类识别后所得到。本发明专利技术通过对健康实时事件进行识别时，采用模型无关的元学习策略对事件流检测模型进行优化，实现了以最低代价得到具有个体自适应的检测模型，大大提高模型的泛化能力。大大提高模型的泛化能力。大大提高模型的泛化能力。

【技术实现步骤摘要】
一种实时事件流识别方法及系统


[0001]本专利技术涉及多媒体
，尤其涉及一种实时事件流识别方法及系统。

技术介绍

[0002]在针对人体事件检测研究中，常常用到事件流检测模型，而该模型往往会出现模型泛化能力较差的问题，例如在一些数据不均衡的数据集中，因为数据分布偏差较大，往往导致所训练的模型偏好某些特定的事件类别。
[0003]健康实时事件识别任务一般包括时间序列检测与多模态事件识别两个步骤，但是由于现有的人体事件检测方案在训练模型时针对所有的研究对象一概而论，而不对研究对象进行区分，这样会因数据分布不均衡等因素造成模型泛化能力较差的问题，满足不了对于个体自适应的需求。

技术实现思路

[0004]本专利技术提供一种实时事件流识别方法及系统，用以解决现有技术中无法针对事件识别检测的个体进行个性区分，导致检测结果容易出现偏差的缺陷。
[0005]第一方面，本专利技术提供一种实时事件流识别方法，包括：
[0006]确定待识别个体事件；
[0007]将所述待识别个体事件输入至预先训练好的事件流检测模型，得到个体事件识别结果；其中，所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后，将所述融合特征进行边界匹配，并基于个体自适应元学习进行分类识别后所得到。
[0008]在一个实施例中，所述事件流检测模型，通过以下步骤获得：
[0009]获取所述视频数据特征和所述传感数据特征；
[0010]将所述视频数据特征和所述传感数据特征进行连接融合，得到所述融合特征；
[0011]将所述融合特征输入边界匹配网络，得到候选时间片段数据；
[0012]将所述候选时间片段数据输入分类识别网络，得到个体事件类型以及个体事件时间信息；
[0013]确定不同用户个体的元学习任务，对所述融合特征、所述候选时间片段数据和所述个体事件类型以及个体事件时间信息进行优化，得到所述事件流检测模型。
[0014]在一个实施例中，所述获取所述视频数据特征和所述传感数据特征，包括：
[0015]将任意长度的视频片段输入预设视频特征提取器，得到所述视频数据特征；
[0016]将所述任意长度的视频片段对应的传感器数据输入预设传感特征提取器，得到所述传感数据特征。
[0017]在一个实施例中，所述将所述视频数据特征和所述传感数据特征进行连接融合，得到所述融合特征，包括：
[0018]将具有相同特征维度的所述视频数据特征和所述传感数据特征进行连接，得到连接特征；
[0019]将所述连接特征由线性网络进行特征融合，得到具有多源异构数据统一表示的所述融合特征。
[0020]在一个实施例中，所述将所述融合特征输入边界匹配网络，得到候选时间片段数据，包括：
[0021]确定所述融合特征的时序特征序列；
[0022]基于所述时序特征序列的时序候选初始边界位置，以及时序候选长度，将所述时序候选构建为边界匹配特征图，基于所述边界匹配特征图得到边界匹配置信度图；
[0023]根据所述边界匹配置信度图的置信度分数，提取所述融合特征的特征表示，得到所述候选时间片段数据。
[0024]在一个实施例中，所述基于所述时序特征序列的时序候选初始边界位置，以及时序候选长度，将所述时序候选构建为边界匹配特征图，基于所述边界匹配特征图得到边界匹配置信度图，包括：
[0025]获取具有预设大小的边界匹配图上的任一时序候选片段；
[0026]获取所述时序特征序列中的若干第一采样点，将所述若干第一采样点确定为所述任一时序候选片段的第一时序特征序列；
[0027]获取所述任一时序候选片段的开始时间和结束时间，基于所述开始时间和所述结束时间确定预设扩展时序范围，在所述预设扩展时序范围内获取与所述若干第一采样点数量相同的若干第二采样点；
[0028]确定所述若干第二采样点中的每个采样点数值，获得第二时序特征序列；
[0029]将所述第一时序特征序列与所述第二时序特征序列进行点乘和线性插值，得到任一时序候选片段特征；
[0030]采用三维卷积网络消除所述任一时序候选片段特征中的采样点数量，并通过多个二维卷积层确定所述任一时序候选片段的上下文信息，得到所述边界匹配置信度图。
[0031]在一个实施例中，所述将所述候选时间片段数据输入分类识别网络，得到个体事件类型以及个体事件时间信息，包括：
[0032]将每个候选时间片段的数据流特征输入至所述分类识别网络，基于边界匹配置信度图确定每个候选时间片段对应的数据时段进行分类，得到每个候选时间片段中的个体事件类别、个体事件开始时间和个体事件结束时间。
[0033]在一个实施例中，所述确定不同用户个体的元学习任务，对所述融合特征、所述候选时间片段数据和所述个体事件类型以及个体事件时间信息进行优化，得到所述事件流检测模型，包括：
[0034]确定初始元学习模型，所述初始元学习模型包括对应于所述融合特征的第一参数、对应于所述候选时间片段数据的第二参数以及对应于所述个体事件类型以及个体事件时间信息的第三参数；
[0035]确定模型更新步长超参数，获取所述初始元学习模型中任一用户数据构成的元训练任务损失函数；
[0036]基于所述第一参数、所述第二参数、所述第三参数、所述模型更新步长超参数和所述元训练任务损失函数，确定单次梯度下降更新，得到更新的元学习模型；
[0037]将所述更新的元学习模型与若干不同用户数据进行适配更新，得到所述事件流检
测模型。
[0038]第二方面，本专利技术还提供一种实时事件流识别系统，包括：
[0039]确定模块，用于确定待识别个体事件；
[0040]检测模块，用于将所述待识别个体事件输入至预先训练好的事件流检测模型，得到个体事件识别结果；其中，所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后，将所述融合特征进行边界匹配，并基于个体自适应元学习进行分类识别后所得到。
[0041]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述实时事件流识别方法的步骤。
[0042]第四方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述实时事件流识别方法的步骤。
[0043]第五方面，本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述实时事件流识别方法的步骤。
[0044]本专利技术提供的实时事件流识别方法及系统，通过对健康实时事件进行识别时，采用模型无关的元学习策略对事件流检测模型进行优化，实现了以最低代价得到具有个体自适应的检测模型，大大提高模型的泛化能力。
附图说明
[0045]为了更清楚地说明本专利技术或现有技术中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时事件流识别方法，其特征在于，包括：确定待识别个体事件；将所述待识别个体事件输入至预先训练好的事件流检测模型，得到个体事件识别结果；其中，所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后，将所述融合特征进行边界匹配，并基于个体自适应元学习进行分类识别后所得到。2.根据权利要求1所述的实时事件流识别方法，其特征在于，所述事件流检测模型，通过以下步骤获得：获取所述视频数据特征和所述传感数据特征；将所述视频数据特征和所述传感数据特征进行连接融合，得到所述融合特征；将所述融合特征输入边界匹配网络，得到候选时间片段数据；将所述候选时间片段数据输入分类识别网络，得到个体事件类型以及个体事件时间信息；确定不同用户个体的元学习任务，对所述融合特征、所述候选时间片段数据和所述个体事件类型以及个体事件时间信息进行优化，得到所述事件流检测模型。3.根据权利要求2所述的实时事件流识别方法，其特征在于，所述获取所述视频数据特征和所述传感数据特征，包括：将任意长度的视频片段输入预设视频特征提取器，得到所述视频数据特征；将所述任意长度的视频片段对应的传感器数据输入预设传感特征提取器，得到所述传感数据特征。4.根据权利要求2所述的实时事件流识别方法，其特征在于，所述将所述视频数据特征和所述传感数据特征进行连接融合，得到所述融合特征，包括：将具有相同特征维度的所述视频数据特征和所述传感数据特征进行连接，得到连接特征；将所述连接特征由线性网络进行特征融合，得到具有多源异构数据统一表示的所述融合特征。5.根据权利要求2所述的实时事件流识别方法，其特征在于，所述将所述融合特征输入边界匹配网络，得到候选时间片段数据，包括：确定所述融合特征的时序特征序列；基于所述时序特征序列的时序候选初始边界位置，以及时序候选长度，将所述时序候选构建为边界匹配特征图，基于所述边界匹配特征图得到边界匹配置信度图；根据所述边界匹配置信度图的置信度分数，提取所述融合特征的特征表示，得到所述候选时间片段数据。6.根据权利要求5所述的实时事件流识别方法，其特征在于，所述基于所述时序特征序列的时序候选初始边界位置，以及时序候选长度，将所述时序候选构建为边界匹配特征图，基于所述边界匹配特征图得到边界匹配置信度图，包括：获取具有预设大小的边界匹配图上的任一时序候选...

【专利技术属性】
技术研发人员：胡孟豪，潘金星，杨小汕，徐常胜，桑基韬，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：