一种图像处理方法以及相关设备技术

本申请实施例提供了一种图像处理方法，包括：获取排布在目标区域周围的M个相机采集的M个图像，根据M个图像中目标主体所在的区域，从M个相机中确定1个主相机并根据第一主相机从M个相机中N个辅助相机，1个主相机以及N个辅助相机采集的图像用于生成自由视点视频，且目标主体在自由视点视频中所在的区域与目标主体在主机位采集的图像中的区域相关。本申请根据M个相机采集的图像中每个图像中目标主体所在的区域来选择主相机和辅助相机，因此可以选择出目标主体所在的区域在图像中具有较好显示位置的图像，并将采集该图像的相机作为主相机，根据主相机和辅助相机采集的图像生成自由视点视频，可以提高自由视点视频中目标主体的视频显示效果。视频显示效果。视频显示效果。

【技术实现步骤摘要】
一种图像处理方法以及相关设备


[0001]本申请涉及图像处理领域，尤其涉及一种图像处理方法以及相关设备。

技术介绍

[0002]自由视点视频是一种通过多相机视频采集系统同步拍摄、存储、处理、生成可变视点视频的技术。多相机系统按照特定的轨迹部署于舞台赛场的环绕区域，多相机通过同步信号触发快门进行时间同步拍摄，拍摄到的多路视频信号由导播进行选择和剪切，编码成一段视频，例如电影骇客帝国中的子弹时间。近年主要应用在节目特效拍摄、体育赛事直播等场景。除了子弹时间拍摄时间静止的效果外，也可以创新性的可让观众自由选择任意时刻的360度任意观看视角，以区别于传统直播中只能观看统一的导播视角。
[0003]在现有的实现中，多个相机的镜头朝向固定，也就是仅针对事先定义好的空间位置聚焦，生成以这一焦点为固定环绕中心的自由视点视频，当主体在环绕中心的时候，自由视点视频的视频效果较好，而当主体偏移环绕中心时会呈现偏轴的旋转效果，自由视点视频的视频效果较差。

技术实现思路

[0004]本申请实施例提供了一种图像处理方法，可以提高自由视点视频中目标主体的视频显示效果。
[0005]第一方面，本申请提供了一种图像处理方法，所述方法包括：
[0006]确定目标主体；
[0007]获取M个图像；其中，所述M个图像为M个相机针对所述目标主体在第一时刻分别采集的一个图像，所述M个相机环绕排布在目标区域周围，且所述M个相机的镜头指向所述目标区域，所述目标主体位于所述目标区域内；在所述M个图像的每个图像中确定所述目标主体所在的区域；在所述M个图像的每个图像中确定所述目标主体所在的区域；
[0008]其中，可以通过同步信号来触发M个相机的快门来进行时间上同步的视频采集，M个图像为M个相机在某一个时刻(第一时刻)分别采集的图像，应理解，由于触发信号的传输时延或者相机的信号处理性能的差异，M个图像可以为M个相机在与第一时刻存在一定可接受误差的时间范围内采集的图像。
[0009]其中，M个相机可以按照特定的轨迹排布在目标区域的周围的环绕区域，M个相机可以按照圆形、半圆形、椭圆形等轨迹排布，只要可以使得M个相机的视场角可以覆盖目标区域中的被拍摄区域，本申请并不限定M个相机的排布轨迹。M个相机可以位于目标区域之外且距离目标区域一定距离范围内(例如1m、2m)的区域，M个相机也可以位于目标区域的边缘区域，例如摆放在舞台上的边缘区域。
[0010]其中，目标区域可以为舞台、球场等被拍摄区域；
[0011]其中，所述M个相机的镜头指向所述目标区域，可以理解为M个相机的镜头的主光轴都指向目标区域，也就是M个相机的视场角都覆盖了目标区域或者目标区域中的局部区
域。
[0012]其中，可以通过对M个相机采集的M个图像中每个图像进行目标主体检测，来确定M个相机采集的图像中每个图像中目标主体的所在的区域。其中，目标主体的区域可以由目标主体的特征点来指示，也就是需要确定多个相机采集的每个图像中目标主体的特征点，其中，特征点可以指示目标主体的所在的区域，特征点可以是二维图像中人体的稳定特征点，例如可以包括如下特征点的至少一种：骨骼点(如肩部骨骼点、胯部骨骼点等等)、头部特征点、手部特征点、脚部特征点、人体服饰特征点或配饰纹理等等。
[0013]根据所述每个图像中所述目标主体所在的区域，从所述M个相机中确定1个主相机；所述主相机的位置与所述目标主体在所述目标区域内的位置相关；根据所述主相机从所述M个相机中确定N个辅助相机；
[0014]根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频；其中，所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机在第二时刻采集的图像中的区域相关。
[0015]根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，基于一定的图像排布规则在时域上进行排列以生成自由视点视频，上述规则可以为自动生成的或者是通过用户(例如导播)来指定的。
[0016]为了保证用于生成自由视点视频的图像中目标主体所处的区域不会出现偏轴、尺寸大小过小等情况，可以根据M个相机采集的图像中每个图像中目标主体所在的区域从M个相机中选择一个主相机，该主相机采集的图像中目标主体的显示质量较高，进而可以基于该主相机来对其他辅助相机采集的图像进行图像变换，提高其他辅助相机采集的图像中目标主体的显示质量。
[0017]本申请实施例中，根据M个相机采集的图像中每个图像中目标主体所在的区域来选择主相机和辅助相机，因此可以选择出目标主体所在的区域在图像中具有较好显示位置的图像，并将采集该图像的相机作为主相机，根据主相机和辅助相机采集的图像生成自由视点视频，进而提高了自由视点视频中目标主体的视频效果。
[0018]在一种可能的实现中，确定的所述主相机与所述目标主体之间可以满足如下关系的至少一种：
[0019]情况1：所述主相机与所述目标主体之间的距离小于预设距离。
[0020]由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体的图像显示质量较高，当主相机与所述目标主体之间小于预设距离时，可以保证主相机采集的图像中目标主体所在的区域在图像中的像素占比较大，进而使得主相机采集的图像中目标主体的图像显示质量较高。预设距离可以与相机的焦距、目标区域的大小有关。
[0021]情况2：所述目标主体位于所述主相机的镜头视场角覆盖区域的中心位置。
[0022]由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体的图像显示质量较高，当目标主体在所述目标区域内的位置位于所述主相机的镜头指向的区域的中心位置(也就是主相机的镜头视场角覆盖区域的中心位置)时，可以保证主相机采集的图像中目标主体所在的区域在图像的中心区域，进而使得主相机采集的图像中目标主体的图像显示质量较高。
[0023]情况3：所述目标主体在所述主相机采集的图像中被完整成像。
[0024]由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体的图像显示质量较高，当所述主相机的位置与所述目标主体在所述目标区域内的位置之间不存在障碍物时，所述目标主体可以在所述主相机采集的图像中被完整成像，进而可以保证主相机采集的图像中目标主体所在的区域没有被其他障碍物遮挡，进而使得主相机采集的图像中目标主体的图像显示质量较高。
[0025]在一种可能的实现中，所述根据所述每个图像中所述目标主体所在的区域，从所述M个相机中确定1个主相机，包括：
[0026]根据所述每个图像中所述目标主体所在的区域，从所述M个图像中确定满足第一预设条件的目标图像；将采集所述目标图像的相机作为所述主相机；其中，所述第一预设条件包括如下的至少一种：
[0027]条件1：所述M个图像中所述目标主体所在的区域距离图像中心轴最近的图像；
[0028]其中，图像中心轴可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：确定目标主体；获取M个图像；其中，所述M个图像为M个相机针对所述目标主体在第一时刻分别采集的一个图像，所述M个相机环绕排布在目标区域周围，且所述M个相机的镜头指向所述目标区域，所述目标主体位于所述目标区域内；在所述M个图像的每个图像中确定所述目标主体所在的区域；根据所述每个图像中所述目标主体所在的区域，从所述M个相机中确定1个主相机；所述主相机的位置与所述目标主体在所述目标区域内的位置相关；根据所述主相机从所述M个相机中确定N个辅助相机；根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频；其中，所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机在第二时刻采集的图像中的区域相关。2.根据权利要求1所述的方法，其特征在于，所述根据所述每个图像中所述目标主体所在的区域，从所述M个相机中确定1个主相机，包括：根据所述每个图像中所述目标主体所在的区域，从所述M个图像中确定满足第一预设条件的目标图像；将采集所述目标图像的相机作为所述主相机；其中，所述第一预设条件包括如下的至少一种：所述M个图像中所述目标主体所在的区域距离图像中心轴最近的图像；或者，所述M个图像中所述目标主体所在的区域在图像中所占据的像素比例最大的图像；或者，所述M个图像中所述目标主体所在的区域在图像中的图像纵轴方向的像素长度最大的图像。3.根据权利要求2所述的方法，其特征在于，所述将采集所述目标图像的相机作为所述主相机，包括：获取采集所述目标图像的相机对应的目标机位号，并将所述目标机位号对应的相机作为所述主相机。4.根据权利要求1至3任一所述的方法，其特征在于，所述主相机与所述目标主体之间的距离小于预设距离；或者，所述目标主体位于所述主相机的镜头视场角覆盖区域的中心位置；或者，所述目标主体在所述主相机采集的图像中被完整成像。5.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述主相机从所述M个相机中确定N个辅助相机，包括：将所述M个相机中位于所述主相机顺时针方向的N1个相机以及位于所述主相机逆时针方向的N2个相机作为辅助相机，其中，所述N1与N2的和为N。6.根据权利要求5所述的方法，其特征在于，所述1个主相机与所述N个辅助相机为相机号连续的相机；或者，所述N个辅助相机采集的图像中所述目标主体所在的区域距离图像中心轴的距离小于预设值；或者，所述目标主体在所述N个辅助相机采集的图像中被完整成像，或者，
N1为第一预设值，N2为第二预设值；或者，N1＝N2。7.根据权利要求1至6任一所述的方法，其特征在于，所述根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频，包括：获取所述1个主相机以及所述N个辅助相机的机位号；根据所述1个主相机以及所述N个辅助相机的机位号之间的顺序，对所述1个主相机以及所述N个辅助相机在第二时刻采集的N+1个图像进行时域上的排布和主体对齐，以生成自由视点视频。8.根据权利要求7所述的方法，其特征在于，所述对所述1个主相机以及所述N个辅助相机在第二时刻采集的N+1个图像进行主体对齐包括如下的至少一种：以所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域为参考，对所述N个辅助相机在第二时刻采集的N个图像进行缩放；或者，以所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域为参考，对所述N个辅助相机在第二时刻采集的N个图像进行旋转；根据所述1个主相机以及N个辅助相机在第二时刻采集的每个图像中所述目标主体所在的区域，对所述1个主相机以及N个辅助相机在第二时刻采集的每个图像进行裁剪。9.根据权利要求1至8任一所述的方法，其特征在于，所述确定目标主体，包括：识别出所述目标区域内的至少一个主体；向终端设备发送所述至少一个主体中每个主体的信息；通过接收到所述终端设备发送的针对于所述至少一个主体中目标主体的选择指示，确定所述目标主体。10.根据权利要求1至8任一所述的方法，其特征在于，所述确定目标主体，包括：通过识别出所述目标区域内的主体仅包括所述目标主体，确定所述目标主体。11.根据权利要求1至10任一所述的方法，其特征在于，所述目标区域包括第一目标点和第二目标点，所述获取M个图像之前，所述方法还包括：获取所述目标区域中的所述目标主体的位置；基于所述目标主体的位置距离所述第一目标点的距离小于距离所述第二目标点的距离，控制所述M个相机的镜头由指向所述第二目标点变为指向所述第一目标点；所述获取M个图像，包括：获取M个相机在镜头指向所述第一目标点时采集的M个图像。12.根据权利要求1至11任一所述的方法，其特征在于，所述在所述M个图像的每个图像中确定所述目标主体所在的区域，包括：获取所述目标主体在物理空间中的第一位置以及所述M个相机的内外参；根据所述第一位置以及所述M个相机的内外参，在所述M个图像的每个图像中确定所述目标主体所在的区域。13.根据权利要求1至12任一所述的方法，其特征在于，所述第一时刻与所述第二时刻相同；或者，所述第一时刻与所述第二时刻不同；所述根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频之前，所述方法还包括：
获取所述1个主相机以及所述N个辅助相机在第二时刻采集的图像。14.一种主体选择方法，其特征在于，应用于终端设备，所述方法包括：显示目标界面，所述目标界面包括旋转轴选择控件，所述旋转轴选择控件用于指示进行旋转轴的选择；接收到针对于目标旋转轴的选择操作；向服务器发送针对于所述目标旋转轴的选择指示，所述目标旋转轴用于指示生成以所述目标旋转轴为视角旋转中心的自由视点视频。15.根据权利要求14所述的方法，其特征在于，所述旋转轴选择控件用于指示从目标区域内的位置点中进行旋转轴的选择。16.根据权利要求14所述的方法，其特征在于，所述旋转轴选择控件用于指示从目标区域内的多个主体中进行旋转轴的选择；所述目标旋转轴用于指示目标主体，所述目标主体还用于指示确定主相机，其中所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机采集的图像中的区域相关。17.一种图像处理装置，其特征在于，所述装置包括：确定模块，用于确定目标主体；获取模块，用于获取M个图像；其中，所述M个图像为M个相机针对所述目标主体在第一时刻分别采集的一个图像，所述M个相机环绕排布在目标区域周围，且所述M个相机的镜头指向所述目标区域，所述目标主体位于所述目标区域内；在所述M个图像的每个图像中确定所述目标主体所在的区域；相机确定模块，用于根据所述每个图像中所述目标主体所在的...

【专利技术属性】
技术研发人员：周瑶，张梦晗，李明，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：