一种用于多视图数据的图像去噪方法及其相关装置制造方法及图纸

本申请公开了一种用于多视图数据的图像去噪方法及其相关装置，通过无噪声多视图数据训练第一多模态玻尔兹曼机模型，使得第一多模态玻尔兹曼机模型学习无噪声多视图数据中各视图数据的统一特征表示和私有特征表示；根据有噪声多视图数据中的噪声视图数据和训练好的第一多模态玻尔兹曼机模型的模型参数对第二多模态玻尔兹曼机模型的模型参数进行初始化；通过初始化后的第二多模态玻尔兹曼机模型学习有噪声多视图数据中的噪声结构，得到训练好的第二多模态玻尔兹曼机模型，通过训练好的第二多模态玻尔兹曼机模型进行图像去噪，改善了现有技术仅针对某一视图去噪，无法建模多视图数据间的关联性，使得多视图数据去噪效果不理想的技术问题。理想的技术问题。理想的技术问题。

【技术实现步骤摘要】
一种用于多视图数据的图像去噪方法及其相关装置


[0001]本申请涉及图像处理
，尤其涉及一种用于多视图数据的图像去噪方法及其相关装置。

技术介绍

[0002]图像去噪是计算机视觉领域中的常见问题，是数据表示学习、目标检测和目标识别等高级应用任务的基础工作。同样，人工智能系统要求算法安全、可靠且足够稳健，但是在系统的设计、开发、执行、部署和使用阶段经常会遇到非人为设计的因素(如自然噪声、干扰等)影响系统稳定性，因此需要进行数据去噪以去除非人为设计的因素的影响。
[0003]在多视图数据中，若某一视图受到自然噪声和干扰，会影响后续多视图数据处理过程。目前针对常用的多视图表示学习模型难以处理噪声视图中隐含噪声结构学习与数据去噪，同时常用的数据去噪模型可以针对某一视图去噪但无法建模多视图数据间的关联性，使得多视图数据去噪效果不理想，影响后续多视图表示学习等任务。

技术实现思路

[0004]本申请提供了一种用于多视图数据的图像去噪方法及其相关装置，用于改善现有技术仅针对某一视图去噪，无法建模多视图数据间的关联性，使得多视图数据去噪效果不理想的技术问题。
[0005]有鉴于此，本申请第一方面提供了一种用于多视图数据的图像去噪方法，包括：
[0006]获取多视图训练数据，所述多视图训练数据包括无噪声多视图数据和对所述无噪声多视图数据加噪声后得到的有噪声多视图数据；
[0007]通过所述无噪声多视图数据训练第一多模态玻尔兹曼机模型，使得所述第一多模态玻尔兹曼机模型学习所述无噪声多视图数据中各视图数据的统一特征表示和私有特征表示，得到训练好的第一多模态玻尔兹曼机模型；
[0008]根据所述有噪声多视图数据中的噪声视图数据和所述训练好的第一多模态玻尔兹曼机模型的模型参数对第二多模态玻尔兹曼机模型的模型参数进行初始化；
[0009]通过初始化后的第二多模态玻尔兹曼机模型学习所述有噪声多视图数据中的噪声结构，得到训练好的第二多模态玻尔兹曼机模型；
[0010]将待去噪多视图数据输入到所述训练好的第二多模态玻尔兹曼机模型进行图像去噪，得到去噪后的多视图数据。
[0011]可选的，所述第一多模态玻尔兹曼机模型的能量函数和条件概率为：
[0012][0013][0014][0015][0016]式中，E1(
·
)为第一多模态玻尔兹曼机模型的能量函数，V为多视图训练数据的视图数量，x1,x2,
…
,x
V
为输入的无噪声多视图数据，h1,h2,
…
，h
V
为每个视图数据的私有特征表示，q为无噪声多视图数据的统一特征表示，J
v
为第v视图上私有特征层节点数目，D
v
为统一特征层节点数目，c
v
为第v视图可见层上的偏置，σ
v
为第v视图可见层上的标准差，W
v
为第v视图可见层到有特征层的权值，为第v视图上私有特征层上的偏置，U
v
为第v视图上可见层到统一特征层的权值，b
j
为统一特征层上的偏置，f(
·
)为Sigmoid激活函数。
[0017]可选的，所述第二多模态玻尔兹曼机模型的能量函数和条件概率为：
[0018][0019][0020][0021][0022][0023][0024][0025][0026][0027]式中，E2(
·
)为第二多模态玻尔兹曼机模型的能量函数，为输入的有噪声多视图数据，为有噪声的第一视图数据，x1为去噪后的第一视图数据，h1,h2,
…
,h
V
为每个视图数据的私有特征表示，q为无噪声多视图数据的统一特征表示，s1为第一视图上的噪声结构，g1为第一视图上的噪声结构的特征表示，e1为第一视图上的噪声结构的特征层上的偏置，d1为第一视图上的噪声结构的可见层上的偏置，O1为第一视图上的噪声结构上可见层到特征层的权值，为第一视图上输入噪声数据的可见层的方差，为第一视图上输入噪声数据的可见层的偏置，U
v
为第v视图上可见层到统一特征层的权值，为可知输入噪声数据和去噪后的数据的耦合因子，f(
·
)为Sigmoid激活函数。
[0028]可选的，所述获取多视图训练数据，之后还包括：
[0029]采用归一化方法将所述多视图训练数据中的每个视图数据归一化为均值为0、方差为1的视图数据。
[0030]本申请第二方面提供了一种用于多视图数据的图像去噪装置，包括：
[0031]获取单元，用于获取多视图训练数据，所述多视图训练数据包括无噪声多视图数据和对所述无噪声多视图数据加噪声后得到的有噪声多视图数据；
[0032]第一训练单元，用于通过所述无噪声多视图数据训练第一多模态玻尔兹曼机模型，使得所述第一多模态玻尔兹曼机模型学习所述无噪声多视图数据中各视图数据的统一特征表示和私有特征表示，得到训练好的第一多模态玻尔兹曼机模型；
[0033]初始化单元，用于根据所述有噪声多视图数据中的噪声视图数据和所述训练好的第一多模态玻尔兹曼机模型的模型参数对第二多模态玻尔兹曼机模型的模型参数进行初始化；
[0034]第二训练单元，用于通过初始化后的第二多模态玻尔兹曼机模型学习所述有噪声多视图数据中的噪声结构，得到训练好的第二多模态玻尔兹曼机模型；
[0035]图像去噪单元，用于将待去噪多视图数据输入到所述训练好的第二多模态玻尔兹曼机模型进行图像去噪，得到去噪后的多视图数据。
[0036]可选的，所述第一多模态玻尔兹曼机模型的能量函数和条件概率为：
[0037][0038][0039][0040][0041]式中，E1(
·
)为第一多模态玻尔兹曼机模型的能量函数，V为多视图训练数据的视图数量，x1,x2,
…
,x
V
为输入的无噪声多视图数据，h1,h2,
…
,h
V
为每个视图数据的私有特征表示，q为无噪声多视图数据的统一特征表示，J
v
为第v视图上私有特征层节点数目，D
v
为统一特征层节点数目，c
v
为第v视图可见层上的偏置，σ
v
为第v视图可见层上的标准差，W
v
为第v视图可见层到有特征层的权值，为第v视图上私有特征层上的偏置，U
v
为第v视图上可见层到统一特征层的权值，b
j
为统一特征层上的偏置。
[0042]可选的，所述第二多模态玻尔兹曼机模型的能量函数和条件概率为：
[0043][0044][0045][0046][0047][0048][0049][0050][0051][0052]式中，E2(
·
)为第二多模态玻尔兹曼机模型的能量函数，为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于多视图数据的图像去噪方法，其特征在于，包括：获取多视图训练数据，所述多视图训练数据包括无噪声多视图数据和对所述无噪声多视图数据加噪声后得到的有噪声多视图数据；通过所述无噪声多视图数据训练第一多模态玻尔兹曼机模型，使得所述第一多模态玻尔兹曼机模型学习所述无噪声多视图数据中各视图数据的统一特征表示和私有特征表示，得到训练好的第一多模态玻尔兹曼机模型；根据所述有噪声多视图数据中的噪声视图数据和所述训练好的第一多模态玻尔兹曼机模型的模型参数对第二多模态玻尔兹曼机模型的模型参数进行初始化；通过初始化后的第二多模态玻尔兹曼机模型学习所述有噪声多视图数据中的噪声结构，得到训练好的第二多模态玻尔兹曼机模型；将待去噪多视图数据输入到所述训练好的第二多模态玻尔兹曼机模型进行图像去噪，得到去噪后的多视图数据。2.根据权利要求1所述的用于多视图数据的图像去噪方法，其特征在于，所述第一多模态玻尔兹曼机模型的能量函数和条件概率为：态玻尔兹曼机模型的能量函数和条件概率为：态玻尔兹曼机模型的能量函数和条件概率为：态玻尔兹曼机模型的能量函数和条件概率为：式中，E1(
·
)为第一多模态玻尔兹曼机模型的能量函数，V为多视图训练数据的视图数量，x1,x2,
…
,x
V
为输入的无噪声多视图数据，h1,h2,
…
,h
V
为每个视图数据的私有特征表示，q为无噪声多视图数据的统一特征表示，J
v
为第v视图上私有特征层节点数目，D
v
为统一特征层节点数目，c
v
为第v视图可见层上的偏置，σ
v
为第v视图可见层上的标准差，W
v
为第v视图可见层到有特征层的权值，为第v视图上私有特征层上的偏置，U
v
为第v视图上可见层到统一特征层的权值，b
j
为统一特征层上的偏置，f(
·
)为Sigmoid激活函数。3.根据权利要求2所述的用于多视图数据的图像去噪方法，其特征在于，所述第二多模态玻尔兹曼机模型的能量函数和条件概率为：
式中，E2(
·
)为第二多模态玻尔兹曼机模型的能量函数，x2,
…
,x
V
为输入的有噪声多视图数据，为有噪声的第一视图数据，x1为去噪后的第一视图数据，h1,h2,
…
,h
V
为每个视图数据的私有特征表示，q为无噪声多视图数据的统一特征表示，s1为第一视图上的噪声结构，g1为第一视图上的噪声结构的特征表示，e1为第一视图上的噪声结构的特征层上的偏置，d1为第一视图上的噪声结构的可见层上的偏置，O1为第一视图上的噪声结构上可见层到特征层的权值，为第一视图上输入噪声数据的可见层的方差，为第一视图上输入噪声数据的可见层的偏置，U
v
为第v视图上可见层到统一特征层的权值，为可知输入噪声数据和去噪后的数据的耦合因子，f(
·
)为Sigmoid激活函数。4.根据权利要求1所述的用于多视图数据的图像去噪方法，其特征在于，所述获取多视图训练数据，之后还包括：采用归一化方法将所述多视图训练数据中的每个视图数据归一化为均值为0、方差为1的视图数据。
5.一种用于多视图数据的图像去噪装置，其特征在于，包括：获取单元，用于获取多视图训练数据，所述多视图训练数据包括无噪声多视图数据和对所述无噪声多视图数据加噪声后得到的有噪声多视图数据；第一训练单元，用于通过所述无...

【专利技术属性】
技术研发人员：孙庆恭，沈新平，黄成捷，贾玲，吴金械，
申请(专利权)人：中国南方电网有限责任公司，
类型：发明
国别省市：