体积视频生成方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种体积视频生成方法、装置、电子设备及存储介质。方法包括：电子设备通过获取被拍摄对象的声音信息和图像信息；在图像信息中确定出目标图像，以及确定目标图像内被拍摄对象的目标部位的位置信息；在声音信息中确定出目标图像在同一时间对应的相关联声音，并将目标图像中目标部位的位置信息确定为相关联声音的音源位置；根据图像信息生成被拍摄对象对应的体积视频，并将相关联声音以及相关联声音的音源位置保存至体积视频中。从而使得积视频中虚拟对象在发声时拥有具体的音源位置。体的音源位置。体的音源位置。

【技术实现步骤摘要】
体积视频生成方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，具体涉及一种体积视频生成方法、装置、电子设备及存储介质。

技术介绍

[0002]相关技术中，在播放一些视频中，会在视频中设置一些音频，比如在固定的空间位置上设置几个音源，然后通过音源之间的配合发声，从而模拟出在一个大概位置上发出的声音。
[0003]但是，这种方式也只能使得用户听取大概位置上的声音，不能准确的模仿出视频中人物具体所在的空间位置发出的声音。

技术实现思路

[0004]本申请实施例提供一种体积视频生成方法、装置、电子设备及存储介质。该体积视频生成方法能够使得体积视频中虚拟对象在发声时拥有具体的音源位置。
[0005]第一方面，本申请实施例提供了一种体积视频生成方法，包括：
[0006]获取被拍摄对象的声音信息和图像信息；
[0007]在图像信息中确定出目标图像，以及确定目标图像内被拍摄对象的目标部位的位置信息；
[0008]在声音信息中确定出目标图像在同一时间对应的相关联声音，并将目标图像中目标部位的位置信息确定为相关联声音的音源位置；
[0009]根据图像信息生成被拍摄对象对应的体积视频，并将相关联声音以及相关联声音的音源位置保存至体积视频中。
[0010]第二方面，本申请实施提供了一种体积视频生成装置，包括：
[0011]获取模块，用于获取被拍摄对象的声音信息和图像信息；
[0012]第一确定模块，用于在图像信息中确定出目标图像，以及确定目标图像内被拍摄对象的目标部位的位置信息；
[0013]第二确定模块，用于在声音信息中确定出目标图像在同一时间对应的相关联声音，并将目标图像中目标部位的位置信息确定为相关联声音的音源位置；
[0014]生成模块，用于根据图像信息生成被拍摄对象对应的体积视频，并将相关联声音以及相关联声音的音源位置保存至体积视频中。
[0015]第三方面，本申请实施例提供一种电子设备，包括：存储有可执行程序代码的存储器、与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，以执行本申请实施例提供的体积视频生成方法中的步骤。
[0016]第四方面，本申请实施例提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的体积视频生成方法中的步骤。
[0017]本申请实施例中，电子设备通过获取被拍摄对象的声音信息和图像信息；在图像
信息中确定出目标图像，以及确定目标图像内被拍摄对象的目标部位的位置信息；在声音信息中确定出目标图像在同一时间对应的相关联声音，并将目标图像中目标部位的位置信息确定为相关联声音的音源位置；根据图像信息生成被拍摄对象对应的体积视频，并将相关联声音以及相关联声音的音源位置保存至体积视频中。从而使得积视频中虚拟对象在发声时拥有具体的音源位置，从而使得观众能够听到准确音源位置的声音。
附图说明
[0018]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本申请实施例提供的拍摄系统的场景示意图。
[0020]图2是本申请实施例提供的体积视频生成方法的第一流程示意图。
[0021]图3是本申请实施例提供的体积视频生成方法的第二流程示意图。
[0022]图4是本申请实施例提供的体积视频播放的场景示意图。
[0023]图5是本申请实施例提供的体积视频生成装置的结构示意图。
[0024]图6是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0025]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0026]相关技术中，在播放一些视频中，会在视频中设置一些音频，比如在固定的空间位置上设置几个音源，然后通过音源之间的配合发声，从而模拟出在一个大概位置上发出的声音。
[0027]但是，这种方式也只能使得用户听取大概位置上的声音，不能准确的模仿出视频中人物具体所在的空间位置发出的声音。
[0028]为了解决该技术问题，本申请实施例提供了体积视频生成方法、装置、电子设备及存储介质。该体积视频生成方法能够使得体积视频中虚拟对象在发声时拥有具体的音源位置。
[0029]请参阅图1，图1是本申请实施例提供的拍摄系统的场景示意图。
[0030]如图1所示，其中该拍摄系统中包含了电子设备、信号源、相机阵列以及麦克风，其中，相机阵列中包含了多个相机，每一相机所处的位置均不同，信号源同时与相机阵列中的每一相机连接，电子设备与信号源连接，电子设备与相机阵列连接。其中，电子设备可以是电脑、服务器等具备一定计算能力的电子设备。
[0031]当相机阵列中的多个相机需要拍摄相机阵列中的被拍摄对象时，电子设备可以控制信号源同时向每一相机发送脉冲控制信号，当每一相机接收到脉冲控制信号后，每一相机可以对该被拍摄对象进行拍摄，由于每一相机在相机阵列中所处的位置不同，则每一相
机对拍摄对象进行拍摄的角度也不同，每一相机的拍摄图像也不同。
[0032]在一些实施方式中，相机阵列中包含了多个位置，每一个位置上可以设置多个相机模组，每一相机模组中可以设置多种相机。比如，在一个位置垂直于地面的空间中，在不同高度设置不同的相机模组，每一相机模组中可以包含拍摄彩色图像的彩色相机，还可以包含深度相机。在一个相机模组拍摄的拍摄图像中可以包含彩色图像和深度图像。
[0033]在相机阵列完成对拍摄对象的拍摄后，电子设备可以接收相机阵列中每一相机发送的拍摄图像和拍摄图像对应的时间，然后电子设备根据接收的拍摄图像和拍摄图像对应的时间进行后续的图像处理。
[0034]在对被拍摄对象进行拍摄的过程中，电子设备还可以在开始对被拍摄对象发出的声音进行录制，比如通过图1中所示的麦克风进行录制。该麦克风位置可以是设置在相机阵列所围成的区域的上方，该麦克风还可以设置在被拍摄对象身上，从而实现对声音的捕获。
[0035]在一些实施方式中，在电子设备接收到拍摄图像后，可以将其确定为后续生成体积视频的图像信息。在电子设备接收到音频之后，可以将其确定为后续体积视频中对应的声音信息。
[0036]其中，体积视频(Volumetric Video，又称容积视频、空间视频、体三维视频或6自由度视频等)是一种通过捕获三维空间中信息(如深度信息和色彩信息等)并生成三维模型序列的技术。相对于传统的视频，体积视频将空间的概念加入到视频中，用三维模型来更好本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种体积视频生成方法，其特征在于，包括：获取被拍摄对象的声音信息和图像信息；在所述图像信息中确定出目标图像，以及确定所述目标图像内所述被拍摄对象的目标部位的位置信息；在所述声音信息中确定出所述目标图像在同一时间对应的相关联声音，并将所述目标图像中所述目标部位的位置信息确定为所述相关联声音的音源位置；根据所述图像信息生成所述被拍摄对象对应的体积视频，并将所述相关联声音以及所述相关联声音的音源位置保存至所述体积视频中。2.根据权利要求1所述的体积视频生成方法，其特征在于，所述获取被拍摄对象的声音信息和图像信息，包括：在相机阵列中，在开始拍摄所述被拍摄对象时，控制所述相机阵列中的多个相机获取所述图像信息，以及控制麦克风获取所述被拍摄对象的声音信息。3.根据权利要求1所述的体积视频生成方法，其特征在于，所述目标图像为二维图像，所述确定所述目标图像内所述被拍摄对象的目标部位的位置信息，包括：对所述目标图像所述被拍摄对象的面部进行识别，以确定所述目标部位，所述目标部位包括嘴部；确定所述目标部位在所述目标图像内对应的二维坐标；根据所述二维坐标确定所述目标部位在三维空间内的三维坐标，并将所述三维坐标确定为所述目标部位的位置信息。4.根据权利要求3所述的体积视频生成方法，其特征在于，所述根据所述二维坐标确定所述目标部位在三维空间内的三维坐标，包括：对所述二维坐标进行反投影计算，以确定所述目标部位在三维空间内的三维坐标。5.根据权利要求4所述的体积视频生成方法，其特征在于，所述对所述二维坐标进行反投影计算，以确定所述目标部位在三维空间内的三维坐标，包括：确定所述目标图像在所述相机阵列中对应的目标相机，以及所述目标相机的预设内参矩阵、预设外参矩阵、预设外参平移向量、预设基准参数；根据所述目标相机的预设内参矩阵、预设外参矩阵、预设外参平移向量、预设基准参数，以及所述二维坐标确定所述部位在三维空间内的三维坐标。6.根据权利要求5所述的体积视频生成方法，其特征在于，所述根据所述目标相机的预设内参矩阵、预设外参矩阵、预设外参平移向量、预设基准参数，以及所述二维坐标确定所述部位在三维空间内的三维坐标，包括：将所述目标相机的预设内参矩阵、预设外参矩阵、预设外参平移向量、预设基准参数，以及所述二维坐标输入至计算公式中计算出所述三维坐标；所述计算公式为：其中，M为目标图像相机的...

【专利技术属性】
技术研发人员：张煜，蒋志鸿，孙伟，邵志兢，
申请(专利权)人：珠海普罗米修斯视觉技术有限公司，
类型：发明
国别省市：