视频合成方法、装置及系统制造方法及图纸

本申请公开了一种视频合成方法、装置及系统，属于视频处理技术领域。管理设备获取部署在目标场景中的N个相机在多个采集时刻中的每个采集时刻分别采集得到的N帧视频图像。管理设备从每个采集时刻对应的N帧视频图像中获取一帧包括目标对象的成像的目标视频图像，然后根据多个采集时刻对应的多帧目标视频图像合成目标对象对应的视频流。通过多个相机分别针对目标场景中的不同区域采集清晰的视频图像。管理设备选取每个采集时刻对应的包含目标对象的成像的一帧视频图像进行视频合成，由于目标对象在不同相机的拍摄区域内活动时，总有相机能够采集到目标对象清晰的活动画面，因此合成的视频流能够提供目标对象在目标场景中全程活动的清晰画面。程活动的清晰画面。程活动的清晰画面。

【技术实现步骤摘要】
视频合成方法、装置及系统


[0001]本申请涉及视频处理
，特别涉及一种视频合成方法、装置及系统。

技术介绍

[0002]在运动员的训练过程和比赛过程中通常都会录制视频，以便教练员分析运动员的运动数据，进而能够针对性地制定单个运动员的训练计划。但是由于运动场地通常较大，一个固定机位的相机无法清晰地拍摄到一个运动员的全程运动画面，因此在通过一个固定机位的相机采集的视频流中，无法保证单个运动员的全程运动画面的清晰度。

技术实现思路

[0003]本申请提供了一种视频合成方法、装置及系统，针对单个活动对象合成的视频流能够提供该活动对象在场景中全程活动的清晰画面。
[0004]第一方面，提供了一种视频合成方法，该方法应用于管理设备。管理设备获取部署在目标场景中的N个相机在多个采集时刻中的每个采集时刻分别采集得到的N帧视频图像，N≥2。管理设备从每个采集时刻对应的N帧视频图像中获取一帧目标视频图像，该目标视频图像包括目标对象的成像。管理设备根据多个采集时刻对应的多帧目标视频图像，合成目标对象对应的视频流，该视频流用于反映目标对象在目标场景中的活动信息。
[0005]本申请通过在目标场景中固定部署多个相机，这些相机的拍摄区域不同，这些相机分别能够针对目标场景中的不同区域拍摄到清晰的视频图像。管理设备从多个相机在同一采集时刻分别采集得到的多帧视频图像中，选取一帧包含目标对象的成像的视频图像进行视频合成，由于这些相机分别能拍摄到目标场景中对应区域的清晰的视频图像，因此目标对象在不同相机的拍摄区域内活动时，总有相机能够采集到目标对象清晰的活动画面，进而使得合成的视频流能够提供目标对象在目标场景中全程活动的清晰画面，即保证了合成的视频流中目标对象的活动画面的清晰度。另外，由于相机是固定部署的，可以根据其所需的拍摄区域预先设置相机参数，在拍摄过程中无需调整相机参数，实现方式简单。
[0006]可选地，管理设备从每个采集时刻对应的N帧视频图像中获取一帧目标视频图像的实现方式，包括：管理设备获取每个采集时刻对应的N帧视频图像中包括目标对象的成像的所有待选视频图像，然后从所有待选视频图像中获取目标视频图像。
[0007]可选地，N个相机包括第一相机和第二相机，第一相机和第二相机具有共视区域。管理设备获取每个采集时刻对应的N帧视频图像中包括目标对象的成像的所有待选视频图像的实现方式，包括：当目标对象在第一采集时刻位于第一相机和第二相机的共视区域时，管理设备将第一相机在第一采集时刻采集得到的第一视频图像和第二相机在第一采集时刻采集得到的第二视频图像均作为第一采集时刻对应的待选视频图像。
[0008]相应地，管理设备从所有待选视频图像中获取目标视频图像的实现方式，可以包括：管理设备获取目标对象在第一视频图像中的第一成像和目标对象在第二视频图像中的第二成像。响应于第一成像的成像效果优于第二成像的成像效果，管理设备将第一视频图
像作为第一采集时刻对应的目标视频图像。
[0009]本申请中，管理设备可以将同一采集时刻获取的N帧视频图像中包括目标对象的成像且目标对象的成像效果最优的视频图像作为目标视频图像，以用于合成目标对象对应的视频流。可以进一步提高合成的视频流中目标对象的活动画面的清晰度，使合成的视频流更好地反映目标对象的活动特征，有利于分析目标对象的活动特性。
[0010]可选地，第一成像的成像效果优于第二成像的成像效果，满足以下一种或多种条件：第一成像的成像面积大于第二成像的成像面积。第一成像包括的骨骼点的数量大于第二成像包括的骨骼点的数量。第一成像的骨骼数据的置信度大于第二成像的骨骼数据的置信度。
[0011]由于成像面积越大，则通常能够体现的细节越多，成像包括的骨骼点数量越多或骨骼数据的置信度越高，则能够更好的反映目标对象的活动特征，因此成像面积越大，成像包括的骨骼点数量越多，成像的骨骼数据的置信度越高，可以判定该成像的成像效果越优。
[0012]可选地，管理设备获取目标对象在第二视频图像中的第二成像的实现方式，包括：管理设备在获取目标对象在第一视频图像中的第一成像之后，获取目标对象的第一关键点在第一视频图像中的第一成像位置。管理设备基于第一相机与第二相机之间的像素坐标映射关系，根据第一成像位置确定第一关键点在第二视频图像中的第二成像位置。管理设备根据第二成像位置确定目标对象在第二视频图像中的第二成像。
[0013]本申请中，通过预先确定相邻两个相机之间的像素坐标映射关系，当目标对象活动至相邻两个相机的共视区域时，管理设备可以根据目标对象在这相邻两个相机采集的视频图像中的成像几何位置的相关性，实现对目标对象的跨相机跟踪识别。本申请方案不依赖于目标对象的唯一性特征，通过对相机的灵活部署和标定，可以适用于各种场景。
[0014]可选地，目标场景中部署有M个相机。M个相机中的任意相邻两个相机具有共视区域。M≥N，N个相机属于M个相机。管理设备中存储有多个单应矩阵，每个单应矩阵用于反映M个相机中的一组相邻两个相机之间的像素坐标映射关系。
[0015]本申请中，可以通过在目标场景中部署较多的相机以提高对目标对象的跨相机跟踪识别的精确度，并且通过选取其中较少的相机采集的视频图像用于合成视频流以提高合成的视频流的流畅性。即M>N，这样可以同时保证合成的视频流的准确性和流畅性。
[0016]可选地，管理设备在获取目标视频图像之后，可以对目标视频图像进行裁剪处理，使目标对象的成像位于经过裁剪处理的视频图像的中心区域。然后管理设备基于多个采集时刻，按照时间先后顺序对多帧分别经过裁剪处理的视频图像进行排列，以得到目标对象对应的视频流。
[0017]本申请中，管理设备可以对获取的每帧目标视频图像分别进行裁剪处理，使最终合成的视频流的所有视频图像中，目标对象的成像都在中心区域。这样既能实现对目标对象的跟焦效果，又能使合成的视频流的显示效果较好，视频流的播放画面更加流畅和平滑，从而提高用户观看体验。
[0018]可选地，管理设备还可以根据目标对象的第二关键点在目标视频图像中的成像位置，确定第二关键点在世界坐标系下的水平位置，并根据第二关键点分别在多个采集时刻在世界坐标系下的水平位置，生成目标对象的运动轨迹。
[0019]本申请中，管理设备在获取目标对象的骨骼数据之后，还可以基于骨骼数据对目
标对象进行运动分析，包括但不限于确定目标对象的运动轨迹、计算目标对象的步数、计算目标对象的位移或计算目标对象的运动速度等。
[0020]可选地，管理设备在获取目标视频图像之后，还可以获取目标对象的骨骼点在目标视频图像中的成像位置，并在播放界面上显示视频流的播放画面，该播放画面中的目标对象的成像上显示有目标对象的骨骼点。
[0021]本申请中，管理设备在合成目标对象对应的视频流时，可以将目标对象的骨骼点的成像位置与对应的视频图像编码封装在一起，进而可以在显示目标对象对应的视频流的播放画面时，在该播放画面中的目标对象的成像上显示该目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频合成方法，其特征在于，应用于管理设备，所述方法包括：获取部署在目标场景中的N个相机在多个采集时刻中的每个采集时刻分别采集得到的N帧视频图像，N≥2；从所述每个采集时刻对应的N帧视频图像中获取一帧目标视频图像，所述目标视频图像包括目标对象的成像；根据所述多个采集时刻对应的多帧所述目标视频图像，合成所述目标对象对应的视频流，所述视频流用于反映所述目标对象在所述目标场景中的活动信息。2.根据权利要求1所述的方法，其特征在于，所述从所述每个采集时刻对应的N帧视频图像中获取一帧目标视频图像，包括：获取所述每个采集时刻对应的N帧视频图像中包括所述目标对象的成像的所有待选视频图像；从所述所有待选视频图像中获取所述目标视频图像。3.根据权利要求2所述的方法，其特征在于，所述N个相机包括第一相机和第二相机，所述第一相机和所述第二相机具有共视区域，所述获取所述每个采集时刻对应的N帧视频图像中包括所述目标对象的成像的所有待选视频图像，包括：当所述目标对象在第一采集时刻位于所述第一相机和所述第二相机的共视区域时，将所述第一相机在所述第一采集时刻采集得到的第一视频图像和所述第二相机在所述第一采集时刻采集得到的第二视频图像均作为所述第一采集时刻对应的待选视频图像。4.根据权利要求3所述的方法，其特征在于，所述从所述所有待选视频图像中获取所述目标视频图像，包括：获取所述目标对象在所述第一视频图像中的第一成像和所述目标对象在所述第二视频图像中的第二成像；响应于所述第一成像的成像效果优于所述第二成像的成像效果，将所述第一视频图像作为所述第一采集时刻对应的目标视频图像。5.根据权利要求4所述的方法，其特征在于，所述第一成像的成像效果优于所述第二成像的成像效果，满足以下一种或多种条件：所述第一成像的成像面积大于所述第二成像的成像面积；所述第一成像包括的骨骼点的数量大于所述第二成像包括的骨骼点的数量；所述第一成像的骨骼数据的置信度大于所述第二成像的骨骼数据的置信度。6.根据权利要求4或5所述的方法，其特征在于，获取所述目标对象在所述第二视频图像中的第二成像，包括：在获取所述目标对象在所述第一视频图像中的第一成像之后，获取所述目标对象的第一关键点在所述第一视频图像中的第一成像位置；基于所述第一相机与所述第二相机之间的像素坐标映射关系，根据所述第一成像位置确定所述第一关键点在所述第二视频图像中的第二成像位置；根据所述第二成像位置确定所述目标对象在所述第二视频图像中的所述第二成像。7.根据权利要求6所述的方法，其特征在于，所述目标场景中部署有M个相机，所述M个相机中的任意相邻两个相机具有共视区域，M≥N，所述N个相机属于所述M个相机，所述管理设备中存储有多个单应矩阵，每个所述单应矩阵用于反映所述M个相机中的一组相邻两个
相机之间的像素坐标映射关系。8.根据权利要求1至7任一所述的方法，其特征在于，在获取所述目标视频图像之后，所述方法还包括：对所述目标视频图像进行裁剪处理，使所述目标对象的成像位于经过裁剪处理的视频图像的中心区域；所述根据所述多个采集时刻对应的多帧所述目标视频图像，合成所述目标对象对应的视频流，包括：基于所述多个采集时刻，按照时间先后顺序对多帧分别经过裁剪处理的视频图像进行排列，以得到所述视频流。9.根据权利要求1至8任一所述的方法，其特征在于，所述方法还包括：根据所述目标对象的第二关键点在所述目标视频图像中的成像位置，确定所述第二关键点在世界坐标系下的水平位置；根据所述第二关键点分别在所述多个采集时刻在所述世界坐标系下的水平位置，生成所述目标对象的运动轨迹。10.根据权利要求1至9任一所述的方法，其特征在于，在获取所述目标视频图像之后，所述方法还包括：获取所述目标对象的骨骼点在所述目标视频图像中的成像位置；在播放界面上显示所述视频流的播放画面，所述播放画面中的所述目标对象的成像上显示有所述目标对象的骨骼点。11.一种管理设备，其特征在于，所述管理设备包括：第一获取模块，用于获取部署在目标场景中的N个相机在多个采集时刻中的每个采集时刻分别采集得到的N帧视频图像，N≥2；第二获取模块，用于从所述每个采集时刻对应的N帧视频图像中获取一帧目标视频图像，所述目标视频图像包括目标对象的成像；视频合...

【专利技术属性】
技术研发人员：张莉娜，张明，屈小刚，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：