图像处理方法技术

本申请提供一种图像处理方法

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种图像处理方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着
5G
的商用化和新型多媒体技术的快速发展，虚拟现实视频
(
比如，全景视频，
360
度视频
)
近年来越来越受欢迎
。
不同于传统视频，虚拟现实视频可使用户观看到
360
度的视频内容，所以传输虚拟现实视频需要消耗大量带宽
。
但是，用户在观看虚拟现实视频时通常会观看比较感兴趣的区域，为了减少带宽的消耗，可以将用户感兴趣区域的视频区域以高分辨率传输，其余视频区域以较低的分辨率形式传输，因此，准确确定用户感兴趣的视频区域十分重要
。
[0003]现有技术中，虚拟现实视频一般经过球形图像投影成平面图像再传输，但是，投影后的平面图像通常存在图像失真和像素扭曲的情况，且图像失真从与球形图像对应的赤道平面到南北两极会越来越严重，采用传统的模型并不能准确的学习到平面图像的特征，进而导致传统模型确定的显著性区域并不准确
。

技术实现思路

[0004]有鉴于此，本申请的目的在于提出一种图像处理方法
、
装置
、
电子设备及存储介质，以克服现有技术中全部或部分不足
。
[0005]基于上述目的，本申请提供了一种图像处理方法，包括：获取平面图像，其中，所述平面图像由第一球形图像经过投影确定，所述第一球形图像为对待拍摄内容进行
360
度拍摄而得到的图像；将所述平面图像输入至经过训练的显著性模型，基于所述平面图像，通过所述显著性模型生成与所述平面图像对应的第二球形图像，并确定所述第二球形图像对应的球面像素点坐标；基于所述第二球形图像和所述球面像素点坐标，通过所述显著性模型确定所述平面图像对应的平面像素点坐标；基于所述平面像素点坐标，通过所述显著性模型输出所述平面图像对应的具有显著性区域的目标图像
。
[0006]可选地，基于所述第二球形图像和所述球面像素点坐标，确定所述平面图像对应的平面像素点坐标，包括：确定所述第二球形图像对应的多个切点中的任意一个切点，并基于所述切点，确定以所述切点为中心的预设尺寸的切平面；基于所述球面像素点坐标，将所述球面像素点坐标投影到所述切平面，以确定所述球面像素点坐标在所述切平面中的投影坐标；基于所述投影坐标，确定所述平面像素点坐标
。
[0007]可选地，所述基于所述球面像素点坐标，将所述球面像素点坐标投影到所述切平面，以确定所述球面像素点坐标在所述切平面中的投影坐标，包括：以所述切点为中心，建立所述切平面对应的坐标系，基于所述切平面对应的坐标系，对所述切平面进行区域划分，并计算每个区域的单位坐标；确定所述球面像素点坐标在所述切平面中对应的区域；基于所述球面像素点坐标和所述球面像素点坐标对应的区域的单位坐标，计算所述投影坐标
。
[0008]可选地，所述基于所述投影坐标，确定所述平面像素点坐标，包括：通过以下公式确定所述切平面中的平面像素点坐标：
[0009][0010]其中，
Γ
x
(
φ
,
θ
)
为所述切平面中的平面像素点横坐标，
Γ
y
(
φ
,
θ
)
为所述切平面中的平面像素点纵坐标，
θ
为球面像素点横坐标，
φ
为球面像素点纵坐标，
θ
γ
为所述投影坐标中的横坐标，
φ
γ
为所述投影坐标中的纵坐标
。
[0011]可选地，用于对所述显著性模型进行训练的损失函数通过下式确定：
ι
＝
L
S
‑
MSE
(S,Q)+L
CC
(S,Q)+L
KL
(S,Q)
，其中，
ι
为所述损失函数，
L
S
‑
MSE
(S,Q)
为权重，
L
CC
(S,Q)
表示线性相关关系，
L
KL
(S,Q)
表示差异关系，
S
为所述目标图像，
Q
为标注后的样本图像
。
[0012]可选地，所述线性相关关系通过以下公式确定：
L
CC
(S,Q)
＝1‑
CC(S,Q)
，其中，
L
CC
(S,Q)
为所述线性相关关系，
CC(S,Q)
为线性相关系数，
Cov(S,Q)
为协方差，
σ
(S)
为所述目标图像的标准差，
σ
(Q)
为所述标注后的样本图像的标准差，
S
为所述目标图像，
Q
为所述标注后的样本图像；所述差异关系通过以下公式确定：
L
KL
(S,Q)
＝
KL(S,Q)
，其中，
L
KL
(S,Q)
为所述差异关系，
KL(S,Q)
为所述目标图像和所述标注后的样本图像之间在信息丢失情况下的差异性，
S
为所述目标图像，
Q
为所述标注后的样本图像，
ε
为正则化常数，
n
为初始平面像素点总数，
i
为当前像素点
。
[0013]可选地，所述显著性模型为卷积神经网络模型，所述基于所述平面像素点坐标，通过所述显著性模型输出所述平面图像对应的具有显著性区域的目标图像，包括：响应于确定所述平面图像存在与其对应的预设校准图像，将所述预设校准图像输入至所述显著性模型；基于所述平面像素点坐标和所述预设校准图像，利用所述显著性模型的卷积层分别提取所述平面像素点坐标对应的第一特征和所述预设校准图像对应的第二特征；基于所述第一特征和所述第二特征，通过所述显著性模型输出所述目标图像
。
[0014]基于同一专利技术构思，本申请还提供了一种图像处理装置，包括：获取模块，被配置为获取平面图像，其中，所述平面图像由第一球形图像经过投影确定，所述第一球形图像为对待拍摄内容进行
360
度拍摄而得到的图像；第一确定模块，被配置为将所述平面图像输入至经过训练的显著性模型，基于所述平面图像，通过所述显著性模型生成与所述平面图像对应的第二球形图像，并确定所述第二球形图像对应的球面像素点坐标；第二确定模块，被配置为基于所述第二球形图像和所述球面像素点坐标，通过所述显著性模型确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像处理方法，其特征在于，包括：获取平面图像，其中，所述平面图像由第一球形图像经过投影确定，所述第一球形图像为对待拍摄内容进行
360
度拍摄而得到的图像；将所述平面图像输入至经过训练的显著性模型，通过所述显著性模型生成与所述平面图像对应的第二球形图像，并确定所述第二球形图像对应的球面像素点坐标；基于所述第二球形图像和所述球面像素点坐标，通过所述显著性模型确定所述平面图像对应的平面像素点坐标；基于所述平面像素点坐标，通过所述显著性模型输出所述平面图像对应的具有显著性区域的目标图像
。2.
根据权利要求1所述的方法，其特征在于，基于所述第二球形图像和所述球面像素点坐标，确定所述平面图像对应的平面像素点坐标，包括：确定所述第二球形图像对应的多个切点中的任意一个切点，并基于所述切点，确定以所述切点为中心的预设尺寸的切平面；基于所述球面像素点坐标，将所述球面像素点坐标投影到所述切平面，以确定所述球面像素点坐标在所述切平面中的投影坐标；基于所述投影坐标，确定所述平面像素点坐标
。3.
根据权利要求2所述的方法，其特征在于，所述基于所述球面像素点坐标，将所述球面像素点坐标投影到所述切平面，以确定所述球面像素点坐标在所述切平面中的投影坐标，包括：以所述切点为中心，建立所述切平面对应的坐标系，基于所述切平面对应的坐标系，对所述切平面进行区域划分，并计算每个区域的单位坐标；确定所述球面像素点坐标在所述切平面中对应的区域；基于所述球面像素点坐标和所述球面像素点坐标对应的区域的单位坐标，计算所述投影坐标
。4.
根据权利要求2所述的方法，其特征在于，所述基于所述投影坐标，确定所述平面像素点坐标，包括：通过以下公式确定所述切平面中的平面像素点坐标：通过以下公式确定所述切平面中的平面像素点坐标：其中，
Γ
x
(
φ
,
θ
)
为所述切平面中的平面像素点横坐标，
Γ
y
(
φ
,
θ
)
为所述切平面中的平面像素点纵坐标，
θ
为球面像素点横坐标，
φ
为球面像素点纵坐标，
θ
γ
为所述投影坐标中的横坐标，
φ
γ
为所述投影坐标中的纵坐标
。5.
根据权利要求1所述的方法，其特征在于，用于对所述显著性模型进行训练的损失函数通过下式确定：
ι
＝
L
S
‑
MSE
(S,Q)+L
CC
(S,Q)+L
KL
(S,Q)
，其中，
ι
为所述损失函数，
L
S
‑
MSE
(S,Q)
为权重，
L
CC
(S,Q)
表示线性相关关系，
L
KL
(S,Q)
表示
差异关系，
S
...

【专利技术属性】
技术研发人员：许长桥，徐祖云，彭帅，肖寒，杨树杰，曾其妙，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：