一种基于图像的重光照方法技术

本发明专利技术公开了一种基于图像的重光照方法，属于计算机图形学领域。为了实现用尽可能少的样本尽可能准确地重光照，在图像样本和图像像素两个空间反复进行定量地随机采样，并用人工神经网络进行训练，直到所有像素点训练精度到设定阈值。考虑到人工神经网络在训练时有最小样本要求，因此在像素点训练样本不足时，利用集成学习的Bagging算法思想对其进行平均化处理。本发明专利技术在模拟的三维场景中进行测试，结果表明，与现有的技术相比，不仅训练时间少，健壮性强；在相同的相对误差精度下，重光照所需的图像样本更小，速度快实时性好，重构场景图像的PSNR值更高。

An image-based relighting method

The invention discloses a method of image based on light illumination, which belongs to the field of computer graphics. In order to achieve the least possible sample as accurately as possible relighting, repeated in the sample image and the image pixel two spatial quantitative random sampling, and trained by artificial neural network, until all the pixels of the training accuracy to the set threshold. Considering that the artificial neural network has the minimum sample requirement in training, the training algorithm of ensemble learning is used to deal with the problem when the training samples are insufficient. The present invention is tested in the 3D scene simulation results show that compared with the existing technology, not only the training time less robust; the relative error in the same precision, smaller sample image relighting the required speed, good real-time reconstruction of scene images with higher PSNR.

【技术实现步骤摘要】

本专利技术涉及一种基于图像的重光照方法，属于机器学习与图形学领域。
技术介绍
基于图像的重光照(Image-basedRelighting，IBR)，也称基于图像的绘制(Image-basedRendering)，其目的是从捕获的图像出发，计算获得光传输矩阵并绘制出新的光源条件下的场景图像。它的最大优势是无需场景的几何信息，渲染不受场景复杂度影响，并且也能表现反射、折射、散射等各种光照效果。因此，IBR自提出以来，立刻成为图形学领域关注的焦点。IBR往往需要通过密集采样获取图像样本，大大增加了工作强度和存储空间。能否利用机器学习方法，通过小样本的采样，尽可能准确的实现基于图像的重光照，是亟需解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于图像的重光照方法。通过图像样本逐渐增加、像素空间随机采样、三层神经网络进行训练以及Bagging集成学习思想的综合运用，从而实现了小样本、高精度的重光照效果。本专利技术为解决上述技术问题采用以下技术方案：本专利技术提供一种基于图像的重光照方法，其特征在于，包括以下具体步骤：步骤1：采集一组三维场景数据，包括点光源的LigX、LigY坐标及其对应的在固定视点输出的图像集ImageSet，计算得到图像集ImageSet在R、G、B三个通道的平均值ImgAvg_R、ImgAvg_G、ImgAvg_B；步骤2：在图像集ImageSet中随机采样，构成图像样本数为ImageNum的图像子集ImageSubset；步骤3：在图像子集ImageSubset的像素空间中随机采样，获取人工神经网络的训练样本集，具体为：(1)在图像子集ImageSubset的像素空间中随机采样，构成像素点集，其中，采样数为PixNum，像素点的坐标为[Px，Py]；(2)训练样本集包括分别对应人工神经网络的输入和输出的两个部分，其中，输入部分包括Px、Py、LigX、LigY、ImgAvg_R、ImgAvg_G、ImgAvg_B，输出部分为[LigX，LigY]与[Px，Py]相应处的图像RGB值；步骤4：利用步骤3的训练样本集对人工神经网络进行训练，训练完成后，将相对平方误差小于等于预设第一阈值δ1的像素点标记为该训练完成的人工神经网络；步骤5，在步骤4中未标记的像素点中重新随机采样，再次训练人工神经网络，直至训练样本集中的像素点全部被标记或未标记的像素点不满足人工神经网络训练的最小样本要求；当未标记的像素点不满足人工神经网络训练的最小样本要求时，利用Bagging集成学习的思想，未标记的像素点由所有神经网络共同决定其输出；步骤6：用训练好的人工神经网络测试图像集ImageSet，若测试精度达到预设第二阈值δ2，则保存训练好的人工神经网络，执行步骤7；否则，增加图像样本数ImageNum，返回2；步骤7：用训练好的神经网络重构光源在任意位置下的场景。作为本专利技术的进一步优化方案，所述步骤3中采样数PixNum≥Pixmin，其中，Tmin是人工神经网络训练需要的最小样本数，a是系数且a≥1)。作为本专利技术的进一步优化方案，所述步骤4中利用训练样本集对人工神经网络进行训练前，对训练样本集进行归一化处理。作为本专利技术的进一步优化方案，所述步骤4中的人工神经网络结构是7个输入节点、2个隐层、3个输出节点，其中，两个隐层的节点数相同，输入节点分别为Px、Py、LigX、LigY、ImgAvg_R、ImgAvg_G、ImgAvg_B；输出节点分别为[LigX，LigY]与[Px，Py]相应处图像的RGB值；隐层的节点数Nhide由实验确定。作为本专利技术的进一步优化方案，人工神经网络训练需要的最小样本数Tmin＝b[(7+1)×Nhide+(Nhide+1)×Nhide+(Nhide+1)×3]，其中，b是系数且b≥10。作为本专利技术的进一步优化方案，步骤4中像素点的相对平方误差其中，表示第j张图像的第i个像素点的实际RGB值，Ij(Pixi)表示人工神经网络预测输出的第j张图像的第i个像素点的RGB值。作为本专利技术的进一步优化方案，步骤5中当未标记的像素点不满足人工神经网络训练的最小样本要求时，利用Bagging集成学习的思想，未标记的像素点的输出由训练好的所有人工神经网络的输出简单平均得出。作为本专利技术的进一步优化方案，所述步骤6中相对均方误差作为本专利技术的进一步优化方案，步骤6中根据实际需要增加图像样本数ImageNum。作为本专利技术的进一步优化方案，图像样本数ImageNum增加20。本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：本专利技术在模拟的两个三维场景中进行测试，结果表明，与现有的技术相比，不仅训练时间少，健壮性强；在相同的相对误差精度下，重光照所需的图像样本更少，重构场景图像的PSNR值更高。附图说明图1是本专利技术的方法流程图。图2是分别采用本专利技术与现有技术的Dragon和Mitsuba场景的训练误差和训练时间的比较图，其中，(a)是Dragon场景的训练误差，(b)是Mitsuba场景的训练误差，(c)Dragon场景的训练时间，(d)是Mitsuba场景的训练时间。具体实施方式下面结合附图对本专利技术的技术方案做进一步的详细说明：本专利技术一种基于图像的重光照方法，如图1所示，包括：步骤1：采集一组三维场景数据(Dagon，Mitsuba)，包括点光源的LigX、LigY坐标及其对应的在固定视点输出的图像集ImageSet；计算图像集在R、G、B三个通道的平均值，得到ImgAvg_R、ImgAvg_G、ImgAvg_B；场景数据具体如表1所示。表1场景数据场景光源分布图像尺寸Dragon31×3164×48Mitsuba21×2164×48步骤2：在图像集ImageSet中随机采样，构成图像子集ImageSubset，图像样本数为ImageNum。步骤3：在图像子集像ImageSubset的像素点中随机采样，获取人工神经网络需要的训练样本集；(1)在图像子集像ImageSubset的像素空间随机采样，构成像素点集，采样数为PixNum，像素点的坐标为[Px，Py]；(2)训练样本集由输入、输出两个部分组成，其中输入属性包括LigX、LigY、Px、Py、ImgAvg_R、ImgAvg_G、ImgAvg_B，输出属性为[LigX，LigY]与[Px，Py]相应处的图像RGB值。步骤4：利用训练样本集对人工神经网络进行训练，训练完成后，将相对平方误差RSE≤预设阈值δ1的像素点标记为该训练完成的人工神经网络。步骤5：在步骤4中未标记的像素点中重新随机采样，再次训练人工神经网络，直至训练样本集中的像素点全部被标记或未标记的像素点不满足人工神经网络训练的最小样本要求；当未标记像素点不满足人工神经网络训练的最小样本要求，利用Bagging集成学习的思想，由所有神经网络共同决定其输出。步骤6：用训练好的人工神经网络测试图像集ImageSet，如果测试精度达到预设阈值δ2，则保存训练好的人工神经网络；否则，增加图像样本数ImageNum，从步骤2重新开始。步骤7：用训练好的人工神经网络重构任意光源位置下的场景。随机采样与训练Imageset同等数量的图像集ImagesetTest，用训练好的神经网络重构场景。本文档来自技高网...

【技术保护点】
一种基于图像的重光照方法，其特征在于，包括以下具体步骤：步骤1：采集一组三维场景数据，包括点光源的LigX、LigY坐标及其对应的在固定视点输出的图像集ImageSet，计算得到图像集ImageSet在R、G、B三个通道的平均值ImgAvg_R、ImgAvg_G、ImgAvg_B；步骤2：在图像集ImageSet中随机采样，构成图像样本数为ImageNum的图像子集ImageSubset；步骤3：在图像子集ImageSubset的像素空间中随机采样，获取人工神经网络的训练样本集，具体为：(1)在图像子集ImageSubset的像素空间中随机采样，构成像素点集，其中，采样数为PixNum，像素点的坐标为[Px，Py]；(2)训练样本集包括分别对应人工神经网络的输入和输出的两个部分，其中，输入部分包括Px、Py、LigX、LigY、ImgAvg_R、ImgAvg_G、ImgAvg_B，输出部分为[LigX，LigY]与[Px，Py]相应处的图像RGB值；步骤4：利用步骤3的训练样本集对人工神经网络进行训练，训练完成后，将相对平方误差小于等于预设第一阈值δ1的像素点标记为该训练完成的人工神经网络；步骤5，在步骤4中未标记的像素点中重新随机采样，再次训练人工神经网络，直至训练样本集中的像素点全部被标记或未标记的像素点不满足人工神经网络训练的最小样本要求；当未标记的像素点不满足人工神经网络训练的最小样本要求时，利用Bagging集成学习的思想，未标记的像素点由所有神经网络共同决定其输出；步骤6：用训练好的人工神经网络测试图像集ImageSet，若测试精度达到预设第二阈值δ2，则保存训练好的人工神经网络，执行步骤7；否则，增加图像样本数ImageNum，返回2；步骤7：用训练好的神经网络重构光源在任意位置下的场景。...

【技术特征摘要】
1.一种基于图像的重光照方法，其特征在于，包括以下具体步骤：步骤1：采集一组三维场景数据，包括点光源的LigX、LigY坐标及其对应的在固定视点输出的图像集ImageSet，计算得到图像集ImageSet在R、G、B三个通道的平均值ImgAvg_R、ImgAvg_G、ImgAvg_B；步骤2：在图像集ImageSet中随机采样，构成图像样本数为ImageNum的图像子集ImageSubset；步骤3：在图像子集ImageSubset的像素空间中随机采样，获取人工神经网络的训练样本集，具体为：(1)在图像子集ImageSubset的像素空间中随机采样，构成像素点集，其中，采样数为PixNum，像素点的坐标为[Px，Py]；(2)训练样本集包括分别对应人工神经网络的输入和输出的两个部分，其中，输入部分包括Px、Py、LigX、LigY、ImgAvg_R、ImgAvg_G、ImgAvg_B，输出部分为[LigX，LigY]与[Px，Py]相应处的图像RGB值；步骤4：利用步骤3的训练样本集对人工神经网络进行训练，训练完成后，将相对平方误差小于等于预设第一阈值δ1的像素点标记为该训练完成的人工神经网络；步骤5，在步骤4中未标记的像素点中重新随机采样，再次训练人工神经网络，直至训练样本集中的像素点全部被标记或未标记的像素点不满足人工神经网络训练的最小样本要求；当未标记的像素点不满足人工神经网络训练的最小样本要求时，利用Bagging集成学习的思想，未标记的像素点由所有神经网络共同决定其输出；步骤6：用训练好的人工神经网络测试图像集ImageSet，若测试精度达到预设第二阈值δ2，则保存训练好的人工神经网络，执行步骤7；否则，增加图像样本数ImageNum，返回2；步骤7：用训练好的神经网络重构光源在任意位置下的场景。2.根据权利要求1所述的一种基于图像的重光照方法，其特征在于...

【专利技术属性】
技术研发人员：韦伟，刘惠义，钱苏斌，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32