VR视频的处理方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种VR视频的处理方法、装置及电子设备，该方法包括获取待处理VR视频；通过预先训练好的多个图像失真修复模型，分别对该待处理VR视频进行修复处理，得到多个修复后的VR视频；确定每种图像失真类型对该待处理VR视频造成的失真程度；根据该失真程度对上述多个修复后的VR视频进行加权融合，得到处理后的VR视频。本发明专利技术实施例通过图像失真修复模型分别对待处理的VR视频进行不同图像失真类型的修复处理，再结合不同图像失真类型对该VR视频的失真贡献的比重，对修复处理得到的视频进行加权融合，得到最终的VR视频，该方式对VR视频的所有画面区域均进行了修复，具有更好的泛化性，且实施成本也更加低廉。

【技术实现步骤摘要】
VR视频的处理方法、装置及电子设备
本专利技术涉及图像处理
，尤其是涉及一种VR视频的处理方法、装置及电子设备。
技术介绍
随着VR技术的发展，用户对VR设备提供的视频画质的清晰度的要求也越来越高。目前，视频超分辨率技术被用于提升视频或图像的分辨率和画质。但是，由于VR视频本身的畸变较大，以及画面质量分布不均匀等特点，相关技术中的视频超分辨率方法在VR视频场景中仍无法取得较为满意的效果。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种VR视频的处理方法、装置及电子设备，可以降低对VR视频进行超分辨率处理的成本，并且超分处理得到的VR视频具有更优的泛化性。第一方面，本专利技术实施例提供了一种VR视频的处理方法，包括：获取待处理VR视频；通过预先训练好的多个图像失真修复模型，分别对该待处理VR视频进行修复处理，得到多个修复后的VR视频；其中，每个失真修复模型用于修复该待处理VR视频的一种图像失真类型，且不同的图像失真修复模型对应的图像失真类型不同；确定每种图像失真类型对该待处理VR视频造成的失真程度；根据该失真程度对上述多个修复后的VR视频进行加权融合，得到处理后的VR视频。在本专利技术较佳的实施例中，上述多个图像失真修复模型包括：图像去模糊模型和图像去畸变模型；该图像去模糊模型对应的图像失真类型为图像模糊，该图像去模糊模型用于对图像进行去模糊处理，得到清晰度优化的图像；该图像去畸变模型对应的图像失真类型为图像畸变，该图像去畸变模型用于对图像进行去畸变处理，得到清晰度优化的图像。在本专利技术较佳的实施例中，上述图像去模糊模型通过下述方式训练得到：获取预设的第一初始VR视频；对该第一初始VR视频的图像帧进行缩放和模糊处理，得到分辨率降低的第一VR视频；以分辨率降低的该第一VR视频和该第一初始VR视频为训练集，训练预设的神经网络，得到图像去模糊模型。在本专利技术较佳的实施例中，上述对该第一初始VR视频的图像帧进行缩放和模糊处理，得到分辨率降低的第一VR视频的步骤，包括：按预设第一缩放倍数，对该第一初始VR视频的每一帧图像进行缩放，得到缩放后的VR视频；对缩放后的该VR视频进行高斯模糊处理，得到分辨率降低的第一VR视频。在本专利技术较佳的实施例中，上述以分辨率降低的该第一VR视频和该第一初始VR视频为训练集，训练预设的神经网络，得到图像去模糊模型的步骤，包括：以分辨率降低的该第一VR视频为预设神经网络的输入，以该第一初始VR视频为该神经网络的输出，训练该神经网络，直至满足预设的训练终止条件，得到训练好的图像去模糊模型。在本专利技术较佳的实施例中，上述图像去畸变模型通过下述方式训练得到：获取预设的第二初始VR视频；对该第二初始VR视频的图像帧进行缩放和畸变处理，得到分辨率降低的第二VR视频；以分辨率降低的该第二VR视频和该第二初始VR视频为训练集，训练预设的神经网络，得到图像去畸变模型。在本专利技术较佳的实施例中，上述对该第二初始VR视频的图像帧进行缩放和畸变处理，得到分辨率降低的第二VR视频的步骤，包括：按预设第二缩放倍数，对该第二初始VR视频的每一帧图像进行缩放，得到缩放后的VR视频；对缩放后的该VR视频进行桶形畸变处理，得到分辨率降低的第二VR视频。在本专利技术较佳的实施例中，上述确定每种该图像失真类型对该待处理VR视频造成的失真程度的步骤，包括：获取该待处理VR视频的图像帧中每个像素点的纬度值；该纬度值为该像素点和观看点的连线与水平面的夹角；根据该纬度值，确定每种该图像失真类型对该待处理VR视频造成的失真程度。在本专利技术较佳的实施例中，上述多个图像失真修复模型包括图像去模糊模型和图像去畸变模型，该图像去模糊模型对应的图像失真类型为图像模糊，该图像去畸变模型对应的图像失真类型为图像畸变；上述根据该纬度值，确定每种该图像失真类型对该待处理VR视频造成的失真程度的步骤，包括：将该纬度值的余弦值，确定为图像模糊对该待处理VR视频造成的失真程度；将1减去该余弦值得到的值，确定为图像畸变对该待处理VR视频造成的失真程度。在本专利技术较佳的实施例中，上述根据该失真程度对该多个修复后的VR视频进行加权融合，得到处理后的VR视频的步骤，包括：根据该失真程度，对该多个修复后的VR视频中每个视频在t时刻的图像帧进行加权融合，得到t时刻融合后的视频图像；根据融合后的该视频图像得到融合处理后的VR视频。在本专利技术较佳的实施例中，上述多个图像失真修复模型包括图像去模糊模型和图像去畸变模型；上述根据该失真程度，对该多个修复后的VR视频中每个视频在t时刻的图像帧进行加权融合，得到t时刻融合后的视频图像的运算公式，包括：V＝w1*V1+w2*V2；其中，w1＝cosα，w2＝1-cosα；式中，V表示t时刻融合后的视频图像；V1表示该待处理VR视频通过该图像去模糊模型修复后的VR视频图像在t时刻的图像帧，w1表示图像模糊对该待处理VR视频造成的失真程度，V2表示该待处理VR视频通过该图像去畸变模型修复后的VR视频图像在t时刻的图像帧，w2表示图像畸变对该待处理VR视频造成的失真程度，α为该待处理VR视频的图像帧中每个像素点的纬度值。第二方面，本专利技术实施例还提供了一种VR视频的处理装置，包括：待处理VR视频获取模块，用于获取待处理VR视频；图像失真修复模型处理模块，用于通过预先训练好的多个图像失真修复模型，分别对该待处理VR视频进行修复处理，得到多个修复后的VR视频；其中，每个失真修复模型用于修复该待处理VR视频的一种图像失真类型，且不同的图像失真修复模型对应的图像失真类型不同；失真程度确定模块，用于确定每种图像失真类型对该待处理VR视频造成的失真程度；加权融合模块，用于根据该失真程度对上述多个修复后的VR视频进行加权融合，得到处理后的VR视频。第三方面，本专利技术实施例还提供了一种电子设备，该电子设备包括处理器和存储器，该存储器存储有能够被该处理器执行的计算机可执行指令，该处理器执行该计算机可执行指令以实现上述VR视频的处理方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述VR视频的处理方法。本专利技术实施例带来了以下有益效果：本专利技术实施例提供的一种VR视频的处理方法、装置及电子设备，获取待处理VR视频；通过预先训练好的多个图像失真修复模型，分别对该待处理VR视频进行修复处理，得到多个修复后的VR视频；其中，每个失真修复模型用于修复该待处理VR视频的一种图像失真类型，且不同的图像失真修复模型对应的图像失真类型不同；确定每种图像失真类型对该待处理VR视频造成的失真程度；根据该失真程度对上述多个修复后的VR视频进行加权融合，得到处理后的VR视频。该方式中，通过图像失真修复模型分别对待处理的VR视频进行不同图像失真类型的修复处理，再结合不同图像失真类型对该VR视频的失真贡献的比重，对修复处理得到的视频进行加权融合，得到最终的VR视频，该方式对VR视频的所有画面区本文档来自技高网...

【技术保护点】
1.一种VR视频的处理方法，其特征在于，包括：/n获取待处理VR视频；/n通过预先训练好的多个图像失真修复模型，分别对所述待处理VR视频进行修复处理，得到多个修复后的VR视频；其中，每个所述失真修复模型用于修复所述待处理VR视频的一种图像失真类型，且不同的图像失真修复模型对应的图像失真类型不同；/n确定每种所述图像失真类型对所述待处理VR视频造成的失真程度；/n根据所述失真程度对所述多个修复后的VR视频进行加权融合，得到处理后的VR视频。/n

【技术特征摘要】
1.一种VR视频的处理方法，其特征在于，包括：
获取待处理VR视频；
通过预先训练好的多个图像失真修复模型，分别对所述待处理VR视频进行修复处理，得到多个修复后的VR视频；其中，每个所述失真修复模型用于修复所述待处理VR视频的一种图像失真类型，且不同的图像失真修复模型对应的图像失真类型不同；
确定每种所述图像失真类型对所述待处理VR视频造成的失真程度；
根据所述失真程度对所述多个修复后的VR视频进行加权融合，得到处理后的VR视频。


2.根据权利要求1所述的VR视频的处理方法，其特征在于，所述多个图像失真修复模型包括：图像去模糊模型和图像去畸变模型；
所述图像去模糊模型对应的图像失真类型为图像模糊，所述图像去模糊模型用于对图像进行去模糊处理，得到清晰度优化的图像；
所述图像去畸变模型对应的图像失真类型为图像畸变，所述图像去畸变模型用于对图像进行去畸变处理，得到清晰度优化的图像。


3.根据权利要求2所述的VR视频的处理方法，其特征在于，所述图像去模糊模型通过下述方式训练得到：
获取预设的第一初始VR视频；
对所述第一初始VR视频的图像帧进行缩放和模糊处理，得到分辨率降低的第一VR视频；
以分辨率降低的所述第一VR视频和所述第一初始VR视频为训练集，训练预设的神经网络，得到图像去模糊模型。


4.根据权利要求3所述的VR视频的处理方法，其特征在于，所述对所述第一初始VR视频的图像帧进行缩放和模糊处理，得到分辨率降低的第一VR视频的步骤，包括：
按预设第一缩放倍数，对所述第一初始VR视频的每一帧图像进行缩放，得到缩放后的VR视频；
对缩放后的所述VR视频进行高斯模糊处理，得到分辨率降低的第一VR视频。


5.根据权利要求3所述的VR视频的处理方法，其特征在于，所述以分辨率降低的所述第一VR视频和所述第一初始VR视频为训练集，训练预设的神经网络，得到图像去模糊模型的步骤，包括：
以分辨率降低的所述第一VR视频为预设神经网络的输入，以所述第一初始VR视频为所述神经网络的输出，训练所述神经网络，直至满足预设的训练终止条件，得到训练好的图像去模糊模型。


6.根据权利要求2所述的VR视频的处理方法，其特征在于，所述图像去畸变模型通过下述方式训练得到：
获取预设的第二初始VR视频；
对所述第二初始VR视频的图像帧进行缩放和畸变处理，得到分辨率降低的第二VR视频；
以分辨率降低的所述第二VR视频和所述第二初始VR视频为训练集，训练预设的神经网络，得到图像去畸变模型。


7.根据权利要求6所述的VR视频的处理方法，其特征在于，所述对所述第二初始VR视频的图像帧进行缩放和畸变处理，得到分辨率降低的第二VR视频的步骤，包括：
按预设第二缩放倍数，对所述第二初始VR视频的每一帧图像进行缩放，得到缩放后的VR视频；
对缩放后的所述VR视频进行桶形畸变处理，得到分辨率降低的第二VR视频。


8.根据权利要求1所述的VR视频的处理方法，其特征在于，所述确定每种所述图像失真类型对所述待处理VR视频造成的失真程度的步骤，包括：
获取所述待处理VR视频...

【专利技术属性】
技术研发人员：鲁方波，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11