赛事视角追踪方法、系统、可读存储介质及计算机技术方案

本发明专利技术提供一种赛事视角追踪方法、系统、可读存储介质及计算机，该方法包括：获取赛事时间线上每个时间节点的静态图像，并基于静态图像进行分类学习得到深度特征；利用基于注意力学习机制的表达增强模型中的动态帧内注意力和静态帧内注意力从深度特征中筛选出视角信息；在基于背景感知的决策模型中嵌入滤波层得到决策优化模型；在特征模型中嵌入回归损失及排序损失得到追踪特征模型；将各模型进行模型组合得到组合模型，并利用组合模型对视角信息进行视觉处理，从而实现赛事时间线上每个时间节点的静态图像的视角追踪。本发明专利技术借助表达增强模型中的动态帧内注意力和静态帧内注意力对图像进行有效的挖掘，以提升图像处理的精准度和效率。准度和效率。准度和效率。

【技术实现步骤摘要】
赛事视角追踪方法、系统、可读存储介质及计算机


[0001]本专利技术涉及图像处理
，特别涉及一种赛事视角追踪方法、系统、可读存储介质及计算机。

技术介绍

[0002]随着科技的飞速发展和人们生活水平的提高，越来越多的人们开始关注体育赛事，从而使得体育赛事的视角目标追踪方法也在逐渐优化。
[0003]现有的体育赛事的视角目标追踪方法通常是使用目标对象内部或边缘上具有显著差异的特征点作为视觉表达，并在连续视频序列对特征点进行搜索，从而达到对目标对象的定位，其在目标对象出现较小的位移、旋转和形变时能够取得良好的追踪效果。然而，特征点对于目标对象以及背景环境的各种外观变化比较敏感，但体育赛事中背景环境都比较大、且较为复杂，从而导致现有的视角目标追踪方法很难处理大部分复杂的追踪场景。

技术实现思路

[0004]基于此，本专利技术的目的是提供一种赛事视角追踪方法、系统、可读存储介质及计算机，以至少解决上述技术中的不足。
[0005]本专利技术提出一种赛事视角追踪方法，包括：获取赛事时间线上每个时间节点的静态图像，并基于所述静态图像进行分类学习得到对应的深度特征；构建基于注意力学习机制的表达增强模型，并利用所述表达增强模型中的动态帧内注意力和静态帧内注意力从所述深度特征中筛选出视角信息；利用岭回归优化算法构建基于背景感知的决策模型，并在所述决策模型中嵌入滤波层，以得到对应的决策优化模型；基于所述深度特征构建特征模型，并在所述特征模型中嵌入回归损失以及排序损失，以得到对应的追踪特征模型；将所述决策优化模型、所述表达增强模型与所述追踪特征模型进行模型组合，以得到组合模型，并利用所述组合模型对所述视角信息进行视觉处理，从而实现所述赛事时间线上每个时间节点的静态图像的视角追踪。
[0006]进一步的，获取赛事时间线上每个时间节点的静态图像的步骤包括：获取赛事时间线上的运动数据，并对所述运动数据进行双边滤波处理，对双边滤波处理后的运动数据进行逐帧分解，以得到对应的逐帧数据；获取图像采集设备在所述赛事时间线上的各时间节点所采集的图像信息，并将所述逐帧数据与所述图像信息在各所述时间节点上构建映射关系，以得到所述赛事时间线上各时间节点的静态图像。
[0007]进一步的，利用所述表达增强模型中的动态帧内注意力和静态帧内注意力从所述深度特征中筛选出视角信息的步骤包括：
利用所述表达增强模型中的动态帧内注意力对所述深度特征进行时序建模，以挖掘出所述深度特征在所述表达增强模型中动态帧序列中的关联信息；获取所述表达增强模型中的静态帧内注意力中的通道特征以及空间特征，并计算出所述通道特征与所述深度特征之间的相关度；利用所述空间特征增强所述深度特征所对应的视觉表达，以获得所述静态图像中目标对象的识别度，并利用所述识别度以及所述相关度计算出所述深度特征中目标对象与背景环境之间的差异信息；根据所述关联信息和所述差异信息在所述深度特征中筛选出所述目标对象所对应的视角信息。
[0008]进一步的，利用岭回归优化算法构建基于背景感知的决策模型，并在所述决策模型中嵌入滤波层，以得到对应的决策优化模型的步骤包括：以所述静态图像中当前帧的静态图像的前一帧图像作为参考，确定所述静态图像的模板数据以及候选目标，并根据所述模板数据以及所述候选目标选定对应的视觉特征；利用岭回归优化算法和所述视觉特征构建基于背景感知的决策模型，并在所述决策模型中嵌入感知滤波层，以得到对应的决策优化模型。
[0009]进一步的，基于所述深度特征构建特征模型，并在所述特征模型中嵌入回归损失以及排序损失，以得到对应的追踪特征模型的步骤包括：给定卷积神经网络模型，利用梯度指标和所述深度特征对所述卷积神经网络模型进行模型优化，以得到对应的特征模型；将所述深度特征中所有数据在所述特征模型中进行高斯函数回归，以得到对应的回归模型；构建排序损失，将所述排序损失嵌入所述回归模型中，以得到对应的追踪特征模型。
[0010]进一步的，所述通道特征与所述深度特征之间的相关度的表达式为：；；；式中，表示通道特征，表示双曲正切型激活函数，表示深度特征的通道特征分量，表示矩阵按元素相加，表示静态帧内注意力中通道特征分量，表示对深度特征进行平均池化得到的通道单元，表示对深度特征进行最大池化得到的通道单元，表示深度特征，表示通道特征与深度特征之间的相关度，表示S型激活函数，、、分别用于调整、、占比的权重。
[0011]进一步的，所述静态图像中目标对象的识别度的表达式为：
；；；式中，表示空间特征，表示对深度特征进行平均池化得到的空间单元，表示对深度特征进行最大池化得到的空间单元，表示深度特征的空间特征分量，表示静态帧内注意力中空间特征分量，表示静态图像中目标对象的识别度，、、分别用于调整、、占比的权重。
[0012]本专利技术还提出一种赛事视角追踪系统，包括：图像获取模块，用于获取赛事时间线上每个时间节点的静态图像，并基于所述静态图像进行分类学习得到对应的深度特征；视角信息筛选模块，用于构建基于注意力学习机制的表达增强模型，并利用所述表达增强模型中的动态帧内注意力和静态帧内注意力从所述深度特征中筛选出视角信息；优化模型构建模块，用于利用岭回归优化算法构建基于背景感知的决策模型，并在所述决策模型中嵌入滤波层，以得到对应的决策优化模型；特征模型构建模块，用于基于所述深度特征构建特征模型，并在所述特征模型中嵌入回归损失以及排序损失，以得到对应的追踪特征模型；视角追踪模块，用于将所述决策优化模型、所述表达增强模型与所述追踪特征模型进行模型组合，以得到组合模型，并利用所述组合模型对所述视角信息进行视觉处理，从而实现所述赛事时间线上每个时间节点的静态图像的视角追踪。
[0013]进一步的，所述图像获取模块包括：数据分解单元，用于获取赛事时间线上的运动数据，并对所述运动数据进行双边滤波处理，对双边滤波处理后的运动数据进行逐帧分解，以得到对应的逐帧数据；图像获取单元，用于获取图像采集设备在所述赛事时间线上的各时间节点所采集的图像信息，并将所述逐帧数据与所述图像信息在各所述时间节点上构建映射关系，以得到所述赛事时间线上各时间节点的静态图像。
[0014]进一步的，所述视角信息筛选模块包括：时序建模单元，用于利用所述表达增强模型中的动态帧内注意力对所述深度特征进行时序建模，以挖掘出所述深度特征在所述表达增强模型中动态帧序列中的关联信息；相关度计算单元，用于获取所述表达增强模型中的静态帧内注意力中的通道特征以及空间特征，并计算出所述通道特征与所述深度特征之间的相关度；差异信息计算单元，用于利用所述空间特征增强所述深度特征所对应的视觉表达，以获得所述静态图像中目标对象的识别度，并利用所述识别度以及所述相关度计算出所述深度特征中目标对象与背景环境之间的差异信息；视角信息筛选单元，用于根据所述关联信息和所述差异信息在所述深度特征中筛选出所述目标对象所对应的视角信息。
[0015]进一步的，所述优化模型构建模块包括：特征选定单元，用于以所述静态图像中当前帧的静态图像的前一帧图像作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种赛事视角追踪方法，其特征在于，包括：获取赛事时间线上每个时间节点的静态图像，并基于所述静态图像进行分类学习得到对应的深度特征；构建基于注意力学习机制的表达增强模型，并利用所述表达增强模型中的动态帧内注意力和静态帧内注意力从所述深度特征中筛选出视角信息；利用岭回归优化算法构建基于背景感知的决策模型，并在所述决策模型中嵌入滤波层，以得到对应的决策优化模型；基于所述深度特征构建特征模型，并在所述特征模型中嵌入回归损失以及排序损失，以得到对应的追踪特征模型；将所述决策优化模型、所述表达增强模型与所述追踪特征模型进行模型组合，以得到组合模型，并利用所述组合模型对所述视角信息进行视觉处理，从而实现所述赛事时间线上每个时间节点的静态图像的视角追踪。2.根据权利要求1所述的赛事视角追踪方法，其特征在于，获取赛事时间线上每个时间节点的静态图像的步骤包括：获取赛事时间线上的运动数据，并对所述运动数据进行双边滤波处理，对双边滤波处理后的运动数据进行逐帧分解，以得到对应的逐帧数据；获取图像采集设备在所述赛事时间线上的各时间节点所采集的图像信息，并将所述逐帧数据与所述图像信息在各所述时间节点上构建映射关系，以得到所述赛事时间线上各时间节点的静态图像。3.根据权利要求1所述的赛事视角追踪方法，其特征在于，利用所述表达增强模型中的动态帧内注意力和静态帧内注意力从所述深度特征中筛选出视角信息的步骤包括：利用所述表达增强模型中的动态帧内注意力对所述深度特征进行时序建模，以挖掘出所述深度特征在所述表达增强模型中动态帧序列中的关联信息；获取所述表达增强模型中的静态帧内注意力中的通道特征以及空间特征，并计算出所述通道特征与所述深度特征之间的相关度；利用所述空间特征增强所述深度特征所对应的视觉表达，以获得所述静态图像中目标对象的识别度，并利用所述识别度以及所述相关度计算出所述深度特征中目标对象与背景环境之间的差异信息；根据所述关联信息和所述差异信息在所述深度特征中筛选出所述目标对象所对应的视角信息。4.根据权利要求1所述的赛事视角追踪方法，其特征在于，利用岭回归优化算法构建基于背景感知的决策模型，并在所述决策模型中嵌入滤波层，以得到对应的决策优化模型的步骤包括：以所述静态图像中当前帧的静态图像的前一帧图像作为参考，确定所述静态图像的模板数据以及候选目标，并根据所述模板数据以及所述候选目标选定对应的视觉特征；利用岭回归优化算法和所述视觉特征构建基于背景感知的决策模型，并在所述决策模型中嵌入感知滤波层，以得到对应的决策优化模型。5.根据权利要求1所述的赛事视角追踪方法，其特征在于，基于所述深度特征构建...

【专利技术属性】
技术研发人员：成文龙，付彦，樊文杰，
申请(专利权)人：江西工业贸易职业技术学院，
类型：发明
国别省市：