视频平面转换方法、装置、电子设备和计算机程序产品制造方法及图纸

本发明专利技术提供一种视频平面转换方法、装置、电子设备和计算机程序产品，所述方法包括：根据场地模型图像确定场地关键点；基于高斯热图的关键点回归算法，确定场地关键点在视频帧图像中的坐标位置及置信度；根据场地关键点在视频帧图像中的置信度的排序结果及三点不共线原则，确定有效关键点，其中，三点不共线原则用于表示任意三个场地关键点的共线值为零；根据有效关键点在场地模型图像和视频帧图像中的坐标位置，确定透视变换矩阵，透视变换矩阵用于实现视频帧图像中任意位置的平面映射。本发明专利技术可实现比赛视频的平面转换，以俯瞰视角直观表现全局战术。表现全局战术。表现全局战术。

【技术实现步骤摘要】
视频平面转换方法、装置、电子设备和计算机程序产品


[0001]本专利技术涉及视频转换
，尤其涉及一种视频平面转换方法、装置、电子设备和计算机程序产品。

技术介绍

[0002]目前，体育竞技比赛中，如足球比赛，视频拍摄时，往往会依据当前足球所在位置，以局部的偏置角度对足球比赛进行拍摄，在反映项目特点、避免杂乱背景的基础上，便于以观众视角观看比赛，且便于观众捕捉比赛精彩、重要的瞬间。
[0003]现有技术中，以偏置角度拍摄的视频中，视频中所包含的区域往往是球场的一小部分，突出的是部分运动员的技术，并未反映出全部球场及其他运动员的动作，即对于全局的战术体系表现并不直观。

技术实现思路

[0004]本专利技术提供一种视频平面转换方法、装置、电子设备和计算机程序产品，用以解决现有技术中对于全局的战术体系表现并不直观的缺陷，实现比赛视频的平面转换，以俯瞰视角直观表现全局战术。
[0005]本专利技术提供了一种视频平面转换方法，包括：
[0006]根据场地模型图像确定场地关键点；
[0007]基于高斯热图的关键点回归算法，确定所述场地关键点在视频帧图像中的坐标位置及置信度；
[0008]根据所述场地关键点在视频帧图像中的置信度的排序结果及三点不共线原则，确定有效关键点，其中，所述三点不共线原则用于表示任意三个所述场地关键点的共线值为零；
[0009]根据所述有效关键点在所述场地模型图像和所述视频帧图像中的坐标位置，确定透视变换矩阵，所述透视变换矩阵用于实现视频帧图像中任意位置的平面映射。
[0010]根据本专利技术提供的视频平面转换方法，所述基于高斯热图的关键点回归算法，确定所述场地关键点在视频帧图像中的坐标位置及置信度，包括：
[0011]构建数据集，所述数据集包括视频帧图像与基于视频帧图像制作的标签高斯热图；
[0012]基于数据增强的所述数据集输入神经网络，获取生成特征图，并以JS散度作为损失函数进行神经网络优化，其中，每张所述生成特征图中对应一个场地关键点，即相对应的场地关键点的坐标为每张所述生成特征图中像素最大点的坐标；
[0013]根据所述生成特征图中对应场地关键点对应坐标的预测值，确定所述场地关键点的置信度。
[0014]根据本专利技术提供的视频平面转换方法，所述基于数据增强的所述数据集输入神经网络，包括：所述数据集每次随机数据增强后输入神经网络，所述数据增强用于克服所述数
据集中场地关键点的位置、透视、明暗度偏移，扩充数据集并增强神经网络的泛化性，其中，所述数据增强包括增强阈值范围内的随机平移、随机度数旋转、随机比例缩放、色彩抖动参数随机变换和像素点随机遮掩。
[0015]根据本专利技术提供的视频平面转换方法，所述根据所述场地关键点在视频帧图像中的置信度的排序结果及三点不共线原则，确定有效关键点，其中，所述三点不共线原则用于表示任意三个所述场地关键点的共线值为零，包括：
[0016]将所述场地关键点在视频帧图像中的置信度进行排序；
[0017]基于所述场地关键点的置信度排序结果，遍历所述场地关键点，利用任意三个高置信度的场地关键点的共线值，获取至少4个三点不共线的有效关键点。
[0018]根据本专利技术提供的视频平面转换方法，所述基于所述场地关键点的置信度排序结果，遍历所述场地关键点，利用任意三个高置信度的场地关键点的共线值，获取至少4个三点不共线的有效关键点，包括：
[0019]获取置信度最高的两个场地关键点及所述两个场地关键点在场地模型图像中对应的坐标，且所述置信度最高的两个场地关键点作为有效关键点；
[0020]基于所述场地关键点的置信度排序结果，依次确定下一个场地关键点与所述置信度最高的两个场地关键点的共线值，若共线值为1，则舍弃该场地关键点，并按排序结果确定下一个场地关键点与所述置信度最高的两个场地关键点的共线值，若共线值为0，则保留该场地关键点，并将该场地关键点作为有效关键点；
[0021]若有效关键点的数量大于或等于N，则终止遍历。
[0022]根据本专利技术提供的视频平面转换方法，所述根据所述有效关键点在所述场地模型图像和所述视频帧图像中的坐标位置，确定透视变换矩阵，所述透视变换矩阵用于实现视频帧图像中任意位置的平面映射，包括：
[0023]获取所述有效关键点在所述场地模型图像中的坐标；
[0024]获取所述有效关键点在所述视频帧图像中对应的坐标；
[0025]基于所述有效关键点在所述场地模型图像和所述视频帧图像中的坐标，确定映射参数值；
[0026]根据所述映射参数值，确定所述透视变换矩阵，所述透视变换矩阵用于实现视频帧图像中任意位置映射于场地映射平面中，且所述视频帧图像与场地映射平面一一对应。
[0027]本专利技术还提供一种视频平面转换装置，包括：
[0028]第一确定模块，用于根据场地模型图像确定场地关键点；
[0029]第二确定模块，用于基于高斯热图的关键点回归算法，确定所述场地关键点在视频帧图像中的坐标位置及置信度；
[0030]第三确定模块，用于根据所述场地关键点在视频帧图像中的置信度的排序结果及三点不共线原则，确定有效关键点，其中，所述三点不共线原则用于表示任意三个所述场地关键点的共线值为零；
[0031]第四确定模块，用于根据所述有效关键点在所述场地模型图像和所述视频帧图像中的坐标位置，确定透视变换矩阵，所述透视变换矩阵用于实现视频帧图像中任意位置的平面映射。
[0032]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理
器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述视频平面转换方法。
[0033]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述视频平面转换方法。
[0034]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述视频平面转换方法。
[0035]本专利技术提供的视频平面转换方法、装置、电子设备和计算机程序产品，通过建模确定覆盖全场的场地关键点，在原先的场地关键点消失时，能够出现新的关键点替代，保证了本专利技术在原理层面的功能可行性；通过关键点回归算法，基于高斯热图，回归出场景关键点在视频帧图像中的坐标位置及置信度，并通过置信度排序遍历场地关键点，基于场地关键点的共线值，获取有效关键点，并根据有效关键点在场地模型图像和视频帧图像中对应的坐标位置，确定透视变换矩阵，将视频帧图像中任意位置映射至场地映射平面中，以俯瞰视角直观反映全局战术。
附图说明
[0036]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频平面转换方法，其特征在于，包括：根据场地模型图像确定场地关键点；基于高斯热图的关键点回归算法，确定所述场地关键点在视频帧图像中的坐标位置及置信度；根据所述场地关键点在视频帧图像中的置信度的排序结果及三点不共线原则，确定有效关键点，其中，所述三点不共线原则用于表示任意三个所述场地关键点的共线值为零；根据所述有效关键点在所述场地模型图像和所述视频帧图像中的坐标位置，确定透视变换矩阵，所述透视变换矩阵用于实现视频帧图像中任意位置的平面映射。2.根据权利要求1所述的视频平面转换方法，其特征在于，所述基于高斯热图的关键点回归算法，确定所述场地关键点在视频帧图像中的坐标位置及置信度，包括：构建数据集，所述数据集包括视频帧图像与基于视频帧图像制作的标签高斯热图；基于数据增强的所述数据集输入神经网络，获取生成特征图，并以JS散度作为损失函数进行神经网络优化，其中，每张所述生成特征图中对应一个场地关键点，即相对应的场地关键点的坐标为每张所述生成特征图中像素最大点的坐标；根据所述生成特征图中对应场地关键点对应坐标的预测值，确定所述场地关键点的置信度。3.根据权利要求2所述的视频平面转换方法，其特征在于，所述基于数据增强的所述数据集输入神经网络，包括：所述数据集每次随机数据增强后输入神经网络，所述数据增强用于克服所述数据集中场地关键点的位置、透视、明暗度偏移，扩充数据集并增强神经网络的泛化性，其中，所述数据增强包括增强阈值范围内的随机平移、随机度数旋转、随机比例缩放、色彩抖动参数随机变换和像素点随机遮掩。4.根据权利要求1所述的视频平面转换方法，其特征在于，所述根据所述场地关键点在视频帧图像中的置信度的排序结果及三点不共线原则，确定有效关键点，其中，所述三点不共线原则用于表示任意三个所述场地关键点的共线值为零，包括：将所述场地关键点在视频帧图像中的置信度进行排序；基于所述场地关键点的置信度排序结果，遍历所述场地关键点，利用任意三个高置信度的场地关键点的共线值，获取至少4个三点不共线的有效关键点。5.根据权利要求4所述的视频平面转换方法，其特征在于，所述基于所述场地关键点的置信度排序结果，遍历所述场地关键点，利用任意三个高置信度的场地关键点的共线值，获取至少4个三点不共线的有效关键点，包括：获取置信度最高的两个场地关键...

【专利技术属性】
技术研发人员：胡铮，唐晓晟，张春红，张宸赫，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：