用于修复空洞图片的模型训练方法、空洞图片的修复方法技术

本发明专利技术的实施例提供一种用于修复空洞图片的模型训练方法、空洞图片的修复方法，涉及3D显示技术领域，可以修复空洞图片，提高显示效果。一种用于修复空洞图片的模型训练方法，包括：建立训练图片集；根据所述训练图片集，训练得到第一修复网络模型。

Model training method and hole image restoration method for hole image restoration

【技术实现步骤摘要】
用于修复空洞图片的模型训练方法、空洞图片的修复方法
本专利技术涉及3D显示
，尤其涉及一种用于修复空洞图片的模型训练方法、空洞图片的修复方法。
技术介绍
随着显示技术的发展，裸眼3D(3Dimensions，三维)显示技术得到广泛的应用。裸眼3D显示技术的基本原理是：通过视差来使观众产生一种立体的观影效果。在观看立体电视的过程中，观众通过在自己的左右眼同时观察到的不同的视频图像，在大脑中融合产生一个具有深度效果的立体图像。利用裸眼3D显示技术显示，观众不需要佩戴任何设备，将是未来的一种主要显示方式。然而，裸眼3D显示技术存在视点少，且不连续的问题，严重影响了裸眼3D技术的发展。
技术实现思路
本专利技术的实施例提供一种用于修复空洞图片的模型训练方法、空洞图片的修复方法，可以修复空洞图片，提高显示效果。为达到上述目的，本专利技术的实施例采用如下技术方案：一方面，本专利技术的实施例提供了一种用于修复空洞图片的模型训练方法，包括：建立训练图片集；所述训练图片集包括多组训练图片对，每组训练图片对包括一张空洞图片和一张对应的非空洞图片；所述空洞图片指的是发生扩张的图片，所述非空洞图片指的是未发生扩张的图片；根据所述训练图片集，训练得到第一修复网络模型；所述第一修复网络模型用于将输入的所述空洞图片修复为对应的所述非空洞图片。可选地，根据所述训练图片集，训练得到第一修复网络模型，包括：构建卷积神经网络；每次选取一组所述训练图片对中的所述空洞图片，输入所述卷积神经网络中，获取该空洞图片对应的修复图片；根据多组所述训练图片对的每组中，所述空洞图片对应的所述修复图片和所述非空洞图片，计算损失值；判断所述卷积神经网络输出的损失值是否小于第一阈值，若否，则调整所述卷积神经网络的参数，直至所述卷积神经网络的损失值小于第一阈值，得到所述第一修复网络模型。可选地，所述卷积神经网络包括多层卷积层和多个激活函数；构建卷积神经网络，包括：构建第一卷积层，对应的第一激活函数为F1(xi)＝max(0，W1×xi+B1)；所述第一卷积层的卷积核为f1×f1×3，卷积核个数为n1，W1和B1为所述第一卷积层的参数，xi为所述空洞图片；构建第二卷积层，对应的第二激活函数为F2(xi)＝max(0，W2×F1(xi)+B2)；所述第二卷积层的卷积核为f2×f2×n1，卷积核个数为n2，W2和B2为所述第二卷积层的参数；构建第三卷积层，对应的第三激活函数为F3(xi)＝max(0，W3×F2(xi)+B3)；所述第三卷积层的卷积核为f3×f3×n2，卷积核个数为n3，W3和B3为所述第三卷积层的参数；构建第四卷积层，对应的第四激活函数为xf＝max(0，W4×F3(xi)+B4)；所述第四卷积层的卷积核为f4×f4×n3，卷积核个数为3，W4和B4为所述第四卷积层的参数，xf为所述空洞图片xi对应的修复图片。可选地，根据多组所述训练图片对的每组中，所述空洞图片对应的所述修复图片和所述非空洞图片，计算损失值，包括：根据损失函数计算得到每组所述训练图片对对应的损失值L(Θ)；其中，xr指的是所述空洞图片xi对应的所述非空洞图片，Θ为所述卷积神经网络的参数，Θ＝{W1，W2，W3，W4，B1，B2，B3，B4}。可选地，在建立训练图片集之后，训练得到第一修复网络模型之前，所述用于修复空洞图片的模型训练方法还包括：分别对所述训练图片集中每组所述训练图片对中的所述空洞图片和所述非空洞图片进行预处理；所述预处理，包括：翻转、旋转、调整亮度中的至少一种。可选地，训练得到第一修复网络模型之后，所述用于修复空洞图片的模型训练方法还包括：根据多组所述训练图片对的每组中，所述空洞图片对应的所述修复图片和所述非空洞图片，分别计算峰值信噪比和结构相似性；当所述峰值信噪比和所述结构相似性均为最大值时，将获取所述修复图片所利用的所述第一修复网络模型，作为所述第一修复网络模型。可选地，当所述峰值信噪比和所述结构相似性均为最大值时，将获取所述修复图片所利用的所述第一修复网络模型，作为所述第一修复网络模型之后，所述用于修复空洞图片的模型训练方法还包括：将所述第一修复网络模型中的参数，保留N位小数；其中，N为大于等于1的正整数。再一方面，本专利技术的实施例还提供一种空洞图片的修复方法，其特征在于，包括：将空洞图片输入，由上述所述的用于修复空洞图片的模型训练方法得到的第一修复网络模型中，获取所述空洞图片对应的修复图片。可选地，将空洞图片输入第一修复网络模型中，获取所述空洞图片对应的修复图片，包括：将所述空洞图片输入第一卷积层，利用第一激活函数，得到第一中间图片；将所述第一中间图片输入第二卷积层，利用第二激活函数，得到第二中间图片；将所述第二中间图片输入第三卷积层，利用第三激活函数，得到第三中间图片；将所述第三中间图片输入第四卷积层，利用第四激活函数，得到该空洞图片对应的所述修复图片。另一方面，本专利技术的实施例还提供一种计算机设备，包括存储单元和处理单元；所述存储单元中存储可在所述处理单元上运行的计算机程序并存储结果；所述处理单元执行所述计算机程序时实现如上所述的用于修复空洞图片的模型训练方法，和/或如上所述的空洞图片的修复方法。又一方面，本专利技术的实施例还提供一种计算机可读介质，其存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的用于修复空洞图片的模型训练方法，和/或如上所述的空洞图片的修复方法。本专利技术的实施例提供一种用于修复空洞图片的模型训练方法、空洞图片的修复方法，通过建立包括多组训练图片对的训练图片集，其中，每组训练图片对包括一张空洞图片和一张对应的非空洞图片，由此，使用训练图片集训练第一修复网络模型，以使第修复网络模型在后续应用中能够将空洞图片修复为非空洞图片。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为参考相机与虚拟相机的设置关系示意图；图2为空洞产生原理示意图；图3为本专利技术实施例提供的一种用于修复空洞图片的模型训练方法的流程图；图4为本专利技术实施例提供的再一种用于修复空洞图片的模型训练方法的流程图；图5为本专利技术实施例提供的另一种用于修复空洞图片的模型训练方法的流程图；图6为本专利技术实施例提供的又一种用于修复空洞图片的模型训练方法的流程图；图7为本专利技术实施例提供的又一种用于修复空洞图片的模型训练方法的流程图；图8为本专利技术实施例提供的又一种用于修复空洞图片的模型训练方法的流程图；图9为本专利技术实施例提供的一种空洞图片的修复方法的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。针对裸眼3D显示技术中存在的视点少且不连续的问题，研究者提出了多视点裸眼3D技术，该技术指的是利用棱镜产生多视点的图片，使观众在不同位置能看到立体图片本文档来自技高网...

【技术保护点】
1.一种用于修复空洞图片的模型训练方法，其特征在于，包括：建立训练图片集；所述训练图片集包括多组训练图片对，每组训练图片对包括一张空洞图片和一张对应的非空洞图片；所述空洞图片指的是发生扩张的图片，所述非空洞图片指的是未发生扩张的图片；根据所述训练图片集，训练得到第一修复网络模型；所述第一修复网络模型用于将输入的所述空洞图片修复为对应的所述非空洞图片。

【技术特征摘要】
1.一种用于修复空洞图片的模型训练方法，其特征在于，包括：建立训练图片集；所述训练图片集包括多组训练图片对，每组训练图片对包括一张空洞图片和一张对应的非空洞图片；所述空洞图片指的是发生扩张的图片，所述非空洞图片指的是未发生扩张的图片；根据所述训练图片集，训练得到第一修复网络模型；所述第一修复网络模型用于将输入的所述空洞图片修复为对应的所述非空洞图片。2.根据权利要求1所述的用于修复空洞图片的模型训练方法，其特征在于，根据所述训练图片集，训练得到第一修复网络模型，包括：构建卷积神经网络；每次选取一组所述训练图片对中的所述空洞图片，输入所述卷积神经网络中，获取该空洞图片对应的修复图片；根据多组所述训练图片对的每组中，所述空洞图片对应的所述修复图片和所述非空洞图片，计算损失值；判断所述卷积神经网络输出的损失值是否小于第一阈值，若否，则调整所述卷积神经网络的参数，直至所述卷积神经网络的损失值小于第一阈值，得到所述第一修复网络模型。3.根据权利要求2所述的用于修复空洞图片的模型训练方法，其特征在于，所述卷积神经网络包括多层卷积层和多个激活函数；构建卷积神经网络，包括：构建第一卷积层，对应的第一激活函数为F1(xi)＝max(0，W1×xi+B1)；所述第一卷积层的卷积核为f1×f1×3，卷积核个数为n1，W1和B1为所述第一卷积层的参数，xi为所述空洞图片；构建第二卷积层，对应的第二激活函数为F2(xi)＝max(0，W2×F1(xi)+B2)；所述第二卷积层的卷积核为f2×f2×n1，卷积核个数为n2，W2和B2为所述第二卷积层的参数；构建第三卷积层，对应的第三激活函数为F3(xi)＝max(0，W3×F2(xi)+B3)；所述第三卷积层的卷积核为f3×f3×n2，卷积核个数为n3，W3和B3为所述第三卷积层的参数；构建第四卷积层，对应的第四激活函数为xf＝max(0，W4×F3(xi)+B4)；所述第四卷积层的卷积核为f4×f4×n3，卷积核个数为3，W4和B4为所述第四卷积层的参数，xf为所述空洞图片xi对应的修复图片。4.根据权利要求3所述的用于修复空洞图片的模型训练方法，其特征在于，根据多组所述训练图片对的每组中，所述空洞图片对应的所述修复图片和所述非空洞图片，计算损失值，包括：根据损失函数计算得到每组所述训练图片对对应的损失值L(Θ)；其中，xr指的是所述空洞图片xi对应的所述非空洞图片，Θ为所述卷积神经网络的参数，Θ＝{W1，W2，W3，W4，B...

【专利技术属性】
技术研发人员：代斌，习艳会，孙炎，胡国锋，高延凯，张小牤，毕育欣，时凌云，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11