一种便携设备的交互材质获取系统和方法技术方案

本发明专利技术技术方案包括一种便携设备的交互材质获取系统和方法，实现了：采集闪光材质图像非闪光材质图像；根据用户输入的分离参数进行分离；根据新明暗图的像素差创建切向量并计算法向图初始值；计算漫反射系数图初始值；基于用户输入的高光系数计算高光指数图的初始值；计算镜像反射系数图的初始值，根据所述高光分离模块、法向图模块、漫反射模块和高光指数模块得到最终非闪光材质图像；使用非线性优化技术计算材质贴图参数，生成材质贴图。本发明专利技术的有益效果为利用手机、单反相机等便携设备采集带闪光、无闪光两张图像，交互式生成更为真实的材质贴图，解决目前游戏制作、影视动画等领域材质制作周期长、成本高、精度低等问题。

【技术实现步骤摘要】

本专利技术涉及一种便携设备的交互材质获取系统和方法，属于图形图像处理领域。
技术介绍
近年来，利用单幅图像获取材质外观属性并生成材质贴图技术，取得了一些进展，例如，在工业界技术人员利用CrazyBump计算Normal图；在研究领域，微软亚洲研究院开发出了一款交互式材质获取系统AppGen。但是相关系统均假设输入的单幅图像没有明显的高光，限制了此类方法的应用。另一方面，利用此类方法恢复的材质贴图，很难制作出类似于真实光照条件下的渲染效果。YUV是被欧洲电视系统所采用的一种颜色编码方法，是PAL和SECAM模拟彩色电视制式采用的颜色空间。在现代彩色电视系统中，通常采用三管彩色摄影机或彩色CCD摄影机进行取像，然后把取得的彩色图像信号经分色、分别放大校正后得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号B－Y(即U)、R－Y(即V)，最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。YUV的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，那么这样表示的图像就是黑白灰度图像。彩色电视采用YUV空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色电视信号。
技术实现思路
针对现有技术的不足，本专利技术的技术方案公开了一种便携设备的交互材质获取系统方法，图像数据通过手机、单反相机等设备拍摄带闪光和无闪光照片获得。本专利技术的技术方案包括一种便携设备的交互材质获取系统，其特征在于，该系统包括：采集模块，用于使用便携设备采集无闪光材质图像，还用于利用便携设备采集带闪光材质图像；高光分离模块，用于将所述采集模块采集的无闪光原始RGB颜色空间图像转化成YUV颜色空间图像，并基于用户输入的分离参数以及YUV颜色空间图像的原始明暗图计算得到新的明暗图，进一步将YUV图像分离得到镜像反射图和漫反射图；法向图模块，根据高光分离模块得到新明暗图的像素差，在切空间创建第一切向量和第二切向量，进一步，根据第一切向量和第二切向量计算法向图初始值；漫反射模块，用于获取所述高光分离得到的漫反射图，计算漫反射系数图初始值；高光指数模块，用于获取所述高光分离模块得到新明暗图，进一步，基于用户输入的高光系数计算高光指数图的初始值；镜像反射模块，用于获取所述高光分离得到的镜像反射图，进一步计算镜像反射系数图的初始值；参数优化模块，用于获取根据所述法向图模块、漫反射模块、高光指数模块和镜像反射模块得到的初始化参数，还获取所述采集模块的带闪光材质图像，使用非线性优化技术计算材质贴图参数并生成材质贴图。根据所述的便携设备的交互材质获取系统，所述的高光分离模块还包括：转换子模块，用于将采集的无闪光材质图像的原始RGB颜色空间转换为YUV颜色空间的材质图像，原始明暗图Y1、以及原始颜色图U及饱和度V；分离子模块，用于根据用户自定义设置的分离参数p，其中新明暗图Y2为Y2＝Y1*p，进一步，基于新明暗图Y2、原始颜色图U及饱和度V组合为新RGB图像，并将新RGB图像作为漫反射图，镜像反射图像与漫反射图的和为原始RGB图像。根据所述的便携设备的交互材质获取系统，所述的法向图模块还包括：用于获取所述新明暗图Y2的像素差，进一步，对于任意像素点(i,j)的值D(i,j)，在S和T方向的切向量分别为S(i,j)＝(1,0,D(i+1,j)-D(i-1,j),)，T(i,j)＝(0,1,D(i,j+1)-D(i,j-1),)，则第一切向量S与第二切向量T的积为法向图初始值。根据所述的便携设备的交互材质获取系统，所述的漫反射模块还包括：用于对漫反射初始值进行计算，其中，漫反射系数图＝漫反射图/NdotL，NdotL为像素法向量与光照向量的内积。根据所述的便携设备的交互材质获取系统，所述的高光指数模块还包括：用于根据用户自定义输入的高光参数，对高光指数图的初始值进行计算，其计算方式为，高光指数图＝新的明暗图Y2*高光参数。根据所述的便携设备的交互材质获取系统，所述的镜像反射模块还包括：用于计算镜面反射系数图的初始值，其计算方式为，镜面反射系数图＝镜面反射图/pow(NdotH,g(x))/NdotL，其中H表示光照、视线中间分量，NdotH为像素法向量与H的内积，g(x)表示任意像素点x的高光指数。根据所述的便携设备的交互材质获取系统，所述的参数优化模块还包括：聚类子模块，用于对参数初始化的无闪光图像的所有像素点进行N聚类，N表示聚类个数；采集参数子模块，用于获取便携设备的FOV参数，初始化带闪光图像每个像素点的光照Lj、视线Vj参数；像素处理子模块，用于对所述带闪光图像的每个像素类别Ci进行处理。根据所述的便携设备的交互材质获取系统，在一个优选的实施方案中，所述的像素处理子模块对每个像素类别Ci处理，包括：像素选取子模块，用于获取当前像素类别中的任意一个像素点P的值；读取初始参数子模块，用于获取与像素点P对应的无闪光材质图像像素点的初始化参数；读取采集参数子模块，用于读取当前像素类别Ci的每一个像素点Pj的RGB值、光照Lj、视线Vj；非线性优化子模块，用于分别调取所述像素选取子模块、读取初始参数子模块、读取采集参数子模块获取的数据，使用非线性优化计算像素点P的参数，并存储作为当前像素类别Ci对应的贴图参数基；贴图参数子模块，用于一一计算当前像素类别Ci的剩余像素点与像素点P的比值，作为剩余像素点的权重系数，进一步，根据当前像素类别Ci的贴图参数基，计算剩余像素点的贴图参数。本专利技术的技术方案还包括一种交互材质获取方法，其特征在于，该方法包括：使用便携设备采集无闪光材质图像，还用于利用便携设备采集带闪光材质图像；将所述采集模块采集的无闪光原始RGB颜色空间图像转化成YUV颜色空间图像，并基于用户输入的分离参数以及YUV颜色空间图像的原始明暗图计算得到新的明暗图，进一步将YUV图像分离得到镜像反射图和漫反射图；根据高光分离模块得到新明暗图的像素差，在切空间创建第一切向量和第二切向量，进一步，根据第一切向量和第二切向量计算法向图初始值；获取所述高光分离得到的漫反射图，计算漫反射系数图初始值；获取所述高光分离模块得到新明暗图，进一步，基于用户输入的高光系数计算高光指数图的初始值；获取所述高光分离得到的镜像反射图，进一步计算镜像反射系数图的初始值；获取根据所述法向图模块、漫反射模块、高光指数模块和镜像反射模块得到的初始化参数，还获取所述采集模块的带闪光材质图像，使用非线性优化技术计算材质贴图参数并生成材质贴图。进一步，该方法还包括：将采集的无闪光材质图像的原始RGB颜色空间转换为YUV颜色空间的材质图像，原始明暗图Y1、以及原始颜色图U及饱和度V；根据用户自定义设置的分离参数p，其中新明暗图Y2为Y2＝Y1*p，进一步，基于新明暗图Y2、原始颜色图U及饱和度V组合为新RGB图像，并将新RGB图像作为漫反射图，镜像反射图像与漫反射图的和为原始RGB图像。进一步，该方法还包括：获取所述新明暗图Y2的像素差，进一步，对于任意像素点(i,j)的值D(i,j)，在S和T方向的切向量分别为S(i,j)＝(1,0,D(i+1,j)-D(i-1,j),)，T(i本文档来自技高网...

【技术保护点】
一种便携设备的交互材质获取系统，其特征在于，该系统包括：采集模块，用于使用便携设备采集无闪光材质图像，还用于利用便携设备采集带闪光材质图像；高光分离模块，用于将所述采集模块采集的无闪光原始RGB颜色空间图像转化成YUV颜色空间图像，并基于用户输入的分离参数以及YUV颜色空间图像的原始明暗图计算得到新的明暗图，进一步将YUV图像分离得到镜像反射图和漫反射图；法向图模块，根据高光分离模块得到新明暗图的像素差，在切空间创建第一切向量和第二切向量，进一步，根据第一切向量和第二切向量计算法向图初始值；漫反射模块，用于获取所述高光分离得到的漫反射图，计算漫反射系数图初始值；高光指数模块，用于获取所述高光分离模块得到新明暗图，进一步，基于用户输入的高光系数计算高光指数图的初始值；镜像反射模块，用于获取所述高光分离得到的镜像反射图，进一步计算镜像反射系数图的初始值；参数优化模块，用于获取根据所述法向图模块、漫反射模块、高光指数模块和镜像反射模块得到的初始化参数，还获取所述采集模块的带闪光材质图像，使用非线性优化技术计算材质贴图参数并生成材质贴图。

【技术特征摘要】
1.一种便携设备的交互材质获取系统，其特征在于，该系统包括：采集模块，用于使用便携设备采集无闪光材质图像，还用于利用便携设备采集带闪光材质图像；高光分离模块，用于将所述采集模块采集的无闪光原始RGB颜色空间图像转化成YUV颜色空间图像，并基于用户输入的分离参数以及YUV颜色空间图像的原始明暗图计算得到新的明暗图，进一步将YUV图像分离得到镜像反射图和漫反射图；法向图模块，根据高光分离模块得到新明暗图的像素差，在切空间创建第一切向量和第二切向量，进一步，根据第一切向量和第二切向量计算法向图初始值；漫反射模块，用于获取所述高光分离得到的漫反射图，计算漫反射系数图初始值；高光指数模块，用于获取所述高光分离模块得到新明暗图，进一步，基于用户输入的高光系数计算高光指数图的初始值；镜像反射模块，用于获取所述高光分离得到的镜像反射图，进一步计算镜像反射系数图的初始值；参数优化模块，用于获取根据所述法向图模块、漫反射模块、高光指数模块和镜像反射模块得到的初始化参数，还获取所述采集模块的带闪光材质图像，使用非线性优化技术计算材质贴图参数并生成材质贴图。2.根据权利要求1所述的便携设备的交互材质获取系统，其特征在于，所述的高光分离模块还包括：转换子模块，用于将采集的无闪光材质图像的原始RGB颜色空间转换为YUV颜色空间的材质图像，原始明暗图Y1、以及原始颜色图U及饱和度V；分离子模块，用于根据用户自定义设置的分离参数p，其中新明暗图Y2为Y2=Y1*p，进一步，基于新明暗图Y2、原始颜色图U及饱和度V组合为新RGB图像，并将新RGB图像作为漫反射图，镜像反射图像与漫反射图的和为原始RGB图像。3.根据权利要求1所述的便携设备的交互材质获取系统，其特征在于，所述的法向图模块还包括：用于获取所述新明暗图Y2的像素差，进一步，对于任意像素点的值，在S和T方向的切向量分别为，，则第一切向量S与第二切向量T的积为法向图初始值。4.根据权利要求1所述的便携设备的交互材质获取系统，其特征在于，所述的漫反射模块还包括：用于对漫反射初始值进行计算，其中，漫反射系数图=漫反射图/NdotL，NdotL为像素法向量与光照向量的内积。5.根据权利要求1所述的便携设备的交互材质获取系统，其特征在于，所述的高光指数模块还包括：用于根据用户自定义输入的高光参数，对高光指数图的初始值进行计算，其计算方式为，高光指数图=新的明暗图Y2*高光参数。6.根据权利要求1所述的便携设备的交互材质获取系统，其特征在于，所述的镜像反射模块还包括：用于计算镜面反射系数图的初始值，其计算方式为，镜面反射系数图=镜面反射图/pow(NdotH,g(x))/NdotL，其中H表示光照、视线中间分量，NdotH为像素法向量与H的内积，g(x)表示任意像素点x的高光指数。7.根据权利要求1所述的便携设备的交互材质获取系统，其特征在于，所述的参数优化模块还包括：聚类子模块，用于对参数初始化的无闪光图像的所有像素点进行N聚类，N表示聚类个数；采集参数子模块，用于获取便携设备的FOV参数，初始化带闪光图像每个像素点的光照Lj、视线Vj参数；像素处理子模块，用于对所述带闪光图像的每个像素类别Ci进行处理。8.根据权利要求7所述的便携设备的交互材质获取系统，其特征在于，所述像素处理子模块对每个像素类别Ci处理还包括：像素选取子模块，用于获取当前像素类别中的任意一个像素点P的值；读取初始参数子模块，用于获取与像素点P对应的无闪光材质图像像素点的初始化参数；读取采集参数子模块，用于读取当前像素类别Ci的每一个像素点Pj的RGB值、光照Lj、视线Vj；非线性优化子模块，用于分别调取所述像素选取子模块、读取初始参数子模块、读取采集参数子模块获取的数据，使用非线性优化...

【专利技术属性】
技术研发人员：崔树林，杨林，武韬，董波，吴云，黄衫，
申请(专利权)人：珠海金山网络游戏科技有限公司，广州西山居世游网络科技有限公司，
类型：发明
国别省市：广东;44