虚拟视点合成方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种虚拟视点合成方法、装置、电子设备及存储介质；方法包括：根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图；将第一动静标记图转换为第二动静标记图；根据第二动静标记图，对不属于动态区域的像素在当前帧虚拟视点深度图中的深度值进行修正，得到优化后的当前帧虚拟视点深度图；根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图。本发明专利技术通过当前帧参考视点纹理图与前一帧参考视点纹理图确定虚拟视点纹理图中的静态区域，然后对属于静态区域的像素的深度值进行修正，保证了虚拟视点纹理图的时域一致性。性。性。

【技术实现步骤摘要】
虚拟视点合成方法、装置、电子设备及存储介质


[0001]本专利技术涉及视频
，尤其涉及一种虚拟视点合成方法、装置、电子设备及存储介质。

技术介绍

[0002]自由视点视频可以利用虚拟视点合成方法将单一视点的彩色加深度视频合成多个视角的彩色视频，让人观看视频的角度更加自由，是三维视频的重要发展方向。
[0003]基于深度图的虚拟视点合成方法是在参考图像和对应深度图的基础上，利用几何映射的方法计算得到像素点在三维几何空间的坐标，然后再通过重投映的方法，投射到指定的虚拟平面上，从而获得新视点(虚拟视点)下的图像。
[0004]该方法主要局限于对单帧图像的处理，而忽略了帧与帧之间的连续性，导致虚拟视点视频出现时域不稳定的现象，在静态区域尤为明显。
[0005]现有技术主要通过时域中值滤波等方法提取整个场景的静态背景图像，再基于静态背景进行深度图优化和空洞填补。但是基于背景重建的时域稳定性改善方法需要预先获取足够帧数的视频序列，才能完整地提取出场景的静态背景，无法做到实时地改善虚拟视点视频的时域稳定性，应用场景有一定的局限性。

技术实现思路

[0006]针对现有技术存在的问题，本专利技术提供一种虚拟视点合成方法、装置、电子设备及存储介质。
[0007]第一方面，本专利技术提供一种虚拟视点合成方法，包括：
[0008]根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图；其中，所述第一动静标记图用于描述所述当前帧参考视点纹理图中各个位置的像素是否属于动态区域；
[0009]将所述第一动静标记图转换为第二动静标记图；其中，所述第二动静标记图用于描述当前帧虚拟视点纹理图中各个位置的像素是否属于动态区域；
[0010]根据所述第二动静标记图，对不属于动态区域的像素在当前帧虚拟视点深度图中的深度值进行修正，得到优化后的当前帧虚拟视点深度图；
[0011]根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图。
[0012]根据本专利技术提供的一种虚拟视点合成方法，所述根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图，包括：
[0013]根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定所述当前帧参考视点纹理图中的动态区域；
[0014]对所述动态区域中的像素进行邻域扩展，得到所述第一动静标记图。
[0015]根据本专利技术提供的一种虚拟视点合成方法，所述根据当前帧参考视点纹理图与前
一帧参考视点纹理图，确定所述当前帧参考视点纹理图中的动态区域，包括：
[0016]计算所述当前帧参考视点纹理图中第一位置的像素与所述前一帧参考视点纹理图中第一位置的像素之间的像素距离；其中，所述第一位置表示当前帧参考视点纹理图或前一帧参考视点纹理图中的任意一个位置；
[0017]将所述像素距离与预先设置的阈值进行比较，当所述像素距离小于所述阈值时，所述第一位置的像素不属于动态区域，当所述像素距离大于或等于所述阈值时，所述第一位置的像素属于动态区域。
[0018]根据本专利技术提供的一种虚拟视点合成方法，所述对所述动态区域中的像素进行邻域扩展，包括：
[0019]对所述动态区域中的任意一个像素，将其周围的(2N+1)
×
(2N+1)个像素均标记为属于动态区域；其中，所述N为大于或等于1的自然数。
[0020]根据本专利技术提供的一种虚拟视点合成方法，所述根据所述第二动静标记图，对不属于动态区域的像素在所述当前帧虚拟视点深度图中的深度值进行修正，包括：
[0021]根据第二动静标记图，判断当前帧虚拟视点纹理图中的第二位置的像素是否属于动态区域；
[0022]当所述第二位置的像素不属于动态区域时，将所述当前帧虚拟视点深度图中第二位置的像素的深度值修改为前一帧虚拟视点深度图中第二位置的像素的深度值；
[0023]当所述第二位置的像素属于动态区域时，保持所述当前帧虚拟视点深度图中第二位置的像素的深度值不变；其中，
[0024]所述第二位置为所述当前帧虚拟视点纹理图或所述当前帧虚拟视点深度图或所述前一帧虚拟视点深度图中的任意一个位置。
[0025]根据本专利技术提供的一种虚拟视点合成方法，方法还包括：
[0026]将当前帧参考视点深度图转换为当前帧虚拟视点深度图；具体包括：
[0027]根据参考相机的内部参数，将当前帧参考视点深度图中的坐标变换到参考相机坐标系下的坐标；
[0028]根据三维空间中的坐标变换，将所述参考相机坐标系下的坐标，变换到虚拟视点所在相机的坐标系下的坐标；
[0029]对所述虚拟视点所在相机坐标系下的坐标进行反变换，得到当前帧虚拟视点深度图的坐标。
[0030]根据本专利技术提供的一种虚拟视点合成方法，所述根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图，包括：
[0031]根据优化后的当前帧虚拟视点深度图，确定与所述当前帧虚拟视点纹理图中的第三位置相对应的所述当前帧参考视点纹理图中的第四位置；
[0032]将所述第四位置的像素值作为所述第三位置的像素值；其中，所述第三位置为所述当前帧虚拟视点纹理图中的任意一个位置。
[0033]第二方面，本专利技术提供一种虚拟视点合成装置，包括：
[0034]第一动静标记图确定模块，用于根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图；其中，所述第一动静标记图用于描述所述当前帧参考视点纹理图中各个位置的像素是否属于动态区域；
[0035]转换模块，用于将所述第一动静标记图转换为第二动静标记图；其中，所述第二动静标记图用于描述当前帧虚拟视点纹理图中各个位置的像素是否属于动态区域；
[0036]深度图修正模块，用于根据所述第二动静标记图，对当前帧虚拟视点深度图中不属于动态区域的像素的深度值进行修正，得到优化后的当前帧虚拟视点深度图；
[0037]虚拟视点合成模块，用于根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图。
[0038]第三方面，本专利技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术第一方面所述虚拟视点合成方法的步骤。
[0039]第四方面，本专利技术提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本专利技术第一方面所述虚拟视点合成方法的步骤。
[0040]本专利技术实施例提供的虚拟视点合成方法、装置、电子设备及存储介质，通过当前帧参考视点纹理图与前一帧参考视点纹理图确定虚拟视点纹理图中的静态区域，然后对属于静态区域的像素的深度值进行修正，保证了虚拟视点纹理图的时域一致性，使得最终合成得到的虚拟视点视频序列的时域稳定性得以改善。本专利技术提供的虚拟视点合成方法只需要当前帧参考视点纹理图、前一帧参考视点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟视点合成方法，其特征在于，包括：根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图；其中，所述第一动静标记图用于描述所述当前帧参考视点纹理图中各个位置的像素是否属于动态区域；将所述第一动静标记图转换为第二动静标记图；其中，所述第二动静标记图用于描述当前帧虚拟视点纹理图中各个位置的像素是否属于动态区域；根据所述第二动静标记图，对不属于动态区域的像素在当前帧虚拟视点深度图中的深度值进行修正，得到优化后的当前帧虚拟视点深度图；根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图。2.根据权利要求1所述的虚拟视点合成方法，其特征在于，所述根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图，包括：根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定所述当前帧参考视点纹理图中的动态区域；对所述动态区域中的像素进行邻域扩展，得到所述第一动静标记图。3.根据权利要求2所述的虚拟视点合成方法，其特征在于，所述根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定所述当前帧参考视点纹理图中的动态区域，包括：计算所述当前帧参考视点纹理图中第一位置的像素与所述前一帧参考视点纹理图中第一位置的像素之间的像素距离；其中，所述第一位置表示当前帧参考视点纹理图或前一帧参考视点纹理图中的任意一个位置；将所述像素距离与预先设置的阈值进行比较，当所述像素距离小于所述阈值时，所述第一位置的像素不属于动态区域，当所述像素距离大于或等于所述阈值时，所述第一位置的像素属于动态区域。4.根据权利要求2所述的虚拟视点合成方法，其特征在于，所述对所述动态区域中的像素进行邻域扩展，包括：对所述动态区域中的任意一个像素，将其周围的(2N+1)
×
(2N+1)个像素均标记为属于动态区域；其中，所述N为大于或等于1的自然数。5.根据权利要求1所述的虚拟视点合成方法，其特征在于，所述根据所述第二动静标记图，对不属于动态区域的像素在所述当前帧虚拟视点深度图中的深度值进行修正，包括：根据第二动静标记图，判断当前帧虚拟视点纹理图中的第二位置的像素是否属于动态区域；当所述第二位置的像素不属于动态区域时，将所述当前帧虚拟视点深度图中第二位置的像素的深度值修改为前一帧虚拟视点深度图中第二位置的像素...

【专利技术属性】
技术研发人员：程志鹏，王琦，刘香凝，顾嵩，
申请(专利权)人：北京大学咪咕文化科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：