基于深度感知的单目视觉图像背景快速虚化的方法及系统技术方案

本发明专利技术提出了一种基于深度感知的单目视觉图像背景快速虚化的方法及实现该方法的系统，该方法通过构建单目深度估计学网络进行图片背景虚化的学习，利用进一步修改后的卷积层来学习空间权值的变化。本发明专利技术有效减少过分依赖一定场景的数据集而导致的泛化性能较差的问题，以及利用大量数据集训练端到端的神经输出网络，达到减少复杂度提高运行速度的目的。

【技术实现步骤摘要】
基于深度感知的单目视觉图像背景快速虚化的方法及系统
本专利技术涉及一种基于对抗生成网络的散景效果渲染方法及系统，涉及一般的图像数据处理和基于机器深度学习的图像重建技术，尤其涉及基于神经网络构建的散景效果处理分析领域。
技术介绍
背景虚化是摄影领域的一项重要技巧，通常拍摄者为了突出图像中的某一区域而将图像中的不感兴趣的部分模糊处理即背景虚化。现有技术中，背景虚化的算法局限于对含人像的数据，或是将深度估计和图像显著性分割作为先验知识和原始图像一起作为输入数据训练一个端到端的网络。然而这两种思路衍生的方法缺点很明显。第一类方法的数据集没有包含一般场景中的图像如自然风光，导致这类算法通常对除人像外的图像不起作用。第二类方法，只是将深度估计和图像显著性作为先验知识输入一个端到端的神经网络训练，其可解释性较差，且运行速度较慢。
技术实现思路
专利技术目的：一个目的是提出一种基于深度感知的单目视觉图像背景快速虚化的方法，以解决现有技术存在的上述问题。进一步目的是提出一种实现上述方法的系统。技术方案：一种基于深度感知的单目视觉图像背景快速虚化的方法包括以下步骤：步骤一、建立模型训练数据集；步骤二、构建深度感知的单目视觉图像训练网络；步骤三、经过训练的神经网络模型接收待进行散景渲染的图片，完成散景渲染后将图片输出。在进一步的实施例中，所述步骤一进一步为：建立用于步骤二中模型训练的图片数据集，为提高对真实场景中包含数据的学习，采用数据集均为真实场景图片。数据集中图片均已成对的方式存储，即分别为原始图片和对应带有散景渲染效果的图片。其中该数据集中的原始图片作为模型训练过程中的输入数据，数据集中带有散景效果的图片作为模型训练过程中用于与模型输出图片进行比对的对比数据。在进一步的实施例中，所述步骤二进一步为：构建深度感知的单目视觉图像训练网络，训练该网络形成产生散景效果渲染的网络模型。该网络的训练方式为首先接收步骤一建立数据集中的输入图片数据Iorg；其次，通过设计的卷积层和激活函数的协同方式进行特征图像的提取；然后，利用损失函数激活学习权重；最后，通过模糊函数的迭代形成预定模糊程度效果的呈现，并通过权重与模糊函数迭代结果的加权和实现最终图像的输出。通过上述流程完成网络学习训练，得到输出图片为Ibokeh的网络模型，其中Ibokeh为带有散景效果渲染的图片。产生带有散景渲染效果图片的模型具体可以构建为：即将步骤一建立的数据集中的对比数据看作为数据集中输入数据平滑版本的加权和。其中，Iorg表示原始图像，表示矩阵逐元素相乘，Bi(·)表示第i级模糊函数，Wi表示第i层数据图像的特征权重矩阵值，且Wi还满足所采用的第i级模糊函数Bi(·)为浅层模糊神经网络循环迭代i次获得的，其具体表示为：训练过程中，损失函数l采用重构函数和结构相似性SSIM的结合，提高输出数据和对比数据之间的紧密度分析，通过误差值的反向传播，达到有效减少模型与实际数据的差距的目的，进而更好的优化模型。其中l具体为：其中Ibokeh表示模型生成带有散景效果的图像，表示数据集中实际带有散景效果的图像的原始图像，表示产生的图像Ibokeh与实际图像之间的结构相似性，具体如下：其中α、β、γ为预设定的常数，表示产生的图像Ibokeh与实际图像之间的亮度关系，表示产生的图像Ibokeh与实际图像之间的对比度关系，表示产生的图像Ibokeh与实际图像之间的结构关系。在进一步的实施例中，所述步骤三进一步为：首先，步骤二中获得的散景效果渲染的网络模型接收待进行背景虚化的图片；其次，将接收的图片进行预设定倍数值的规格调整，使其大小符合模型中深度网络能接受的图片大小，得到经过深度估计网络的估计图，并通过反卷积进行上采样，进而获得深度图；随后将深度图输入散景效果渲染网络模型中的卷积层、并结合激活函数提取计算接收到图像的特征图权重，将获得的数值作为模糊层加权和的对应数据；再次，散景效果渲染网络模型中的浅层模糊网络将接收到的待进行背景虚化的图片信号通过模糊函数进行模糊化操作；从次，利用散景效果渲染网络模型中设定的加权和计算方式，将获得的权重和模糊函数进行加权和的计算，获得处理后图像的数值；最后，散景效果渲染网络模型将获得处理后的图像数值输出，即将产生具有散景效果渲染的图像输出。一种基于深度感知的单目视觉图像背景快速虚化的系统，具体包括；用于建立训练集的第一模块；用于获得具有散景效果网络模型的第二模块；用于实现散景效果的第三模块。在进一步的实施例中，所述第一模块进一步为：建立用于第二模块中模型训练的图片数据集，该模块中所含有数据集均是成对出现的照片集，即成对出现的是单目视觉图像的平面图和其对应具有散景渲染效果的图像。该模块数据集中的单目视觉图像的平面图作为模型训练过程中的输入数据，数据集中带有散景效果的图片作为模型训练过程中用于与模型输出图片进行比对的对比数据。为保证对不同场景下产生散景效果的有效提高，图片集中所描述场景和包含的事物景均为真实场景和不同的主体。在进一步的实施例中，所述第二模块进一步为：该模块首先建立用于获得深度图的深度估计网络，该网络通过接收第一模块中单目视觉图像的平面图作为训练数据，并将具有散景渲染效果的图像作为经过网络学习处理产生图像的对比数据，从而利用产生的误差进行反向传播，获得深度估计网络的参数优化；然后在深度估计网络训练完成后，通过将进过深度估计网络获得的深度图输入至带有预设定层数的卷积层和激活函数中获得特征图，进而获得其权重，并通过预设定模糊网络迭代的次数获得模糊图像；最后将特征权重结合模糊图像利用加权和计算获得最终含有散景效果的图像，从而完成散景效果网络模型的建立。其中深度估计网络的训练过程为，首先将第一模块中作为输入图像数据的图片进行大小的重置，即按照预设定倍数进行图片大小的调整，获得符合网络输入大小的图片；然后将处理后的图片输入深度估计网络，产生深度估计图；最后，将获得的深度估计图在通过反卷积层进行图像大小的恢复。经过深度估计网络产生的深度图再次经过与设定次数的卷积和激活函数获得特征图权重，然后经过预定次模糊网络函数的迭代，最后通过加权和获得最终具有散景效果的图像。最终产生带有散景渲染效果图片的模型具体可以构建为：即将第一模块建立的数据集中的对比数据看作为数据集中输入数据平滑版本的加权和。其中，Ibokeh表示最终产生的图像，Iorg表示原始图像，表示矩阵逐元素相乘，Bi(·)是第i级模糊函数，Wi表示第i层数据图像的特征权重矩阵值，涉及的第i级模糊函数Bi(·)为浅层模糊神经网络迭代i次获得的，其表示为：训练过程中，损失函数l采用重构函数和结构相似性SSIM的结合，提高输出数据和对比数据之间的紧密度分析，达到有效减少模型与实际数据的差距的目的，进而更好的优化模型。其中l具体为：其中Iboke表示模型生成带有散景效果的图像，本文档来自技高网...

【技术保护点】
1.一种基于深度感知的单目视觉图像背景快速虚化的方法，其特征在于，包括：/n步骤一、建立模型训练数据集；/n步骤二、构建深度感知的单目视觉图像训练网络；/n步骤三、经过训练的神经网络模型接收待进行散景渲染的图片，完成散景渲染后将图片输出。/n

【技术特征摘要】
1.一种基于深度感知的单目视觉图像背景快速虚化的方法，其特征在于，包括：
步骤一、建立模型训练数据集；
步骤二、构建深度感知的单目视觉图像训练网络；
步骤三、经过训练的神经网络模型接收待进行散景渲染的图片，完成散景渲染后将图片输出。


2.根据权利要求1所述的一种基于深度感知的单目视觉图像背景快速虚化的方法，其特征在于，所述步骤一进一步为：
建立用于步骤二中构建模型训练的数据集，所述数据集为真实场景图片，其中，每张场景图片都具有对应的照片，所述对应的照片为具有背景虚化的图片；所述具有背景虚化的图片用于与模型输出图片对比，从而获得产生的误差值。


3.根据权利要求1所述的一种基于深度感知的单目视觉图像背景快速虚化的方法，其特征在于，所述步骤二进一步为：
构建深度感知的单目视觉图像训练网络，训练该网络形成产生散景效果渲染的网络模型；该网络的训练方式为首先接收步骤一建立数据集中的输入图片数据；其次，通过设计的卷积层和激活函数的协同方式进行特征提取；然后，利用损失函数激活学习权重；最后，通过模糊函数的迭代形成预定模糊程度效果的呈现，并通过权重、模糊函数迭代结果两者的加权和实现最终图像的输出，通过按照流程完成网络学习训练，得到输出图片为具有散景效果的网络模型。


4.根据权利要求1所述的一种基于深度感知的单目视觉图像背景快速虚化的方法，其特征在于，所述步骤二进一步为：
产生带有散景渲染效果图片的模型具体可以构建为：



其中，Ibokeh表示最终获得的图像，Iorg表示原始图像，表示矩阵逐元素相乘，Bi(·)是第i级模糊函数，Wi表示第i层数据图像的特征权重矩阵值，涉及的第i级模糊函数Bi(·)为浅层模糊神经网络迭代i次获得的，其表示为：



其中，损失函数l采用重构函数和结构相似性SSIM的结合，通过误差值的反向传播优化模型；其中l1具体为：



其中，Ibokeh表示模型生成带有散景效果的图像，表示实际带有散景效果的图像的原始图像，表示产生的图像Ibokeh与实际图像之间的结构相似性，具体如下：



其中，α、β、γ为预设定的常数，表示产生的图像Ibokeh与实际图像之间的亮度关系，表示产生的图像Ibokeh与实际图像之间的对比度关系，表示产生的图像Ibokeh与实际图像之间的结构关系。


5.根据权利要求1所述的一种基于深度感知的单目视觉图像背景快速虚化的方法，其特征在于，所述步骤三进一步为：
首先，步骤二中获得的散景效果渲染的网络模型接收待进行背景虚化的图片；其次，散景效果渲染网络模型中的卷积层和激活函数提取计算接收到图像的特征图权重，并将获得的数值作为模糊层加权和的对应数据；再次，散景效果渲染网络模型中的浅层模糊网络将接收到的待进行背景虚化的图片信号进行模糊化操作；从次，利用散景效果渲染网络模型中设定的加权和计算方式，将获得的权重和模糊函数进行加权和的计算，获得处理后图像的数值；最后，散景效果渲染网络模型将获得处理后的图像数值输出，即将产生具有散景效果渲染的图像输出。


6.一种基于深度感知的单目视觉图像背景快速虚化的系统，用于实现上述权利要求1～5中任一项所述方法其特征在于其特征在于包含以下模块：
用于建立训练集的第一模块；
用于获得具有散景效果网络模型的第二模块；
用于实现散景效果的第三模块。


7.根据权利要求6所述的一种基于深度感知的单目视觉图像背景快速虚化的系统，其特征在于，所述第一模块进一步为建立用于第二模块中模型训练的图片...

【专利技术属性】
技术研发人员：冷聪，李成华，乔聪玉，程健，
申请(专利权)人：中科方寸知微南京科技有限公司，中国科学院自动化研究所南京人工智能芯片创新研究院，
类型：发明
国别省市：江苏;32