一种自适应光照模型建模方法与系统技术方案

本发明专利技术公开了一种自适应光照模型建模方法与系统，所述方法包括：根据深度图计算图中表面采样点在相机坐标系空间中的位置，构成三维表面采样点云，创建坐标系映射表，对点云进行孔洞填充后，基于投影和空圆检测对点云进行三角网格化，得到三角网格模型；根据彩色图自适应生成图中不同表面的渲染参数，并根据坐标系映射表将渲染参数映射到坐标系中，得到三角网格模型中每个顶点的渲染参数，根据渲染参数计算表面颜色，根据计算的表面颜色对三角网格模型进行着色与渲染，得到三维重建对象的光照模型。本发明专利技术可提高三维重建的可复用性，提高三维重建的外观真实性和艺术性，为架空输电线路运维检修三维重建外观重建提供了新思路。路运维检修三维重建外观重建提供了新思路。路运维检修三维重建外观重建提供了新思路。

【技术实现步骤摘要】
一种自适应光照模型建模方法与系统


[0001]本专利技术属于电力系统三维重建与渲染
，涉及一种自适应光照模型建模方法与系统。

技术介绍

[0002]随着商用深度摄像机的发展，无人机载三维激光建模技术已广泛应用于架空输电线路运维检修作业，激光三维建模数据可以较好的反映架空输电线路运维检修作业的现场实际场景，然而，目前大多数架空输电线路运维检修建模工作关注高质量的几何与动作重建，而极少关注外观重建，尤其忽视了对具有不同表面属性材质的恢复。
[0003]在架空输电线路运维检修建模中，外观的重建可以使用从色彩图像中恢复的表面纹理贴图，通过对几何模型进行着色实现。这种方法重建出的外观仅能表现某一时刻的场景外观，重建结果无法进行重新照明，可复用性较低。在针对不同的工况诸如晴天、阴雨天、太阳光不同照射角度等情况时，不能实现不同工况下的实时变化下、相对应的、不同的渲染效果。针对该问题，通过在三维重建中构建光照模型，对表面与光线的交互行为进行建模，并根据光线方向、观察方向、表面法线等变量实时计算表面颜色，实现重建结果在不同光照条件下的渲染，极大提高重建结果的可复用性，以及重建外观的真实性和艺术性。
[0004]但是目前在三维重建工作中构造的光照模型属于经验模型，其模型参数并不能代表材质特征，不具有真实物理含义，难以实现表面光照属性到渲染效果的映射。并且由于对不同表面的光照模型的建模过程并不具有自适应性，导致具有不同光照属性的表面没有区分度，无法通过渲染结果观测出原始表面材质。因此，如何在三维重建中构造能够真实反映表面属性的光照模型，实现表面光照属性恢复，对于更好的反映架空输电线路运维检修作业的现场实际场景具有重要的研究意义。

技术实现思路

[0005]为解决现有技术中存在的不足，本专利技术提供一种自适应光照模型建模方法与系统，对架空输电线路运维检修作业的现场实际场景不同材质属性表面进行自适应光照模型建模，实现表面光照属性恢复。
[0006]本专利技术采用如下的技术方案。
[0007]一种自适应光照模型建模方法，包括以下步骤：根据架空输电线路运维检修三维重建对象的深度图计算图中表面采样点在相机坐标系空间中的位置，构成三维表面采样点云，同时创建相应的坐标系映射表；根据坐标系映射表对点云进行孔洞填充后，基于投影和空圆检测对点云进行三角网格化，得到三角网格模型；对架空输电线路运维检修三维重建对象的彩色图进行表面反照率复原，根据表面反照率在各彩色通道的差异性自适应计算图中不同材质表面的粗糙度和镜面反射率；根据坐标系映射表将表面反照率、粗糙度和镜面反射率映射到坐标系中，得到三
角网格模型中每个顶点的渲染参数；建立基于物理的光照模型并采用光照模型根据每个顶点的渲染参数计算表面颜色，根据计算的表面颜色对三角网格模型进行着色与渲染，得到架空输电线路运维检修三维重建对象的光照模型。
[0008]优选地，表面采样点在相机坐标系空间中的位置计算公式为：
[0009]其中,为深度图中位置的深度值；为位置的空间坐标缩放因子。
[0010]优选地，创建坐标系映射表和：。
[0011]优选地，所述根据坐标系映射表对点云进行孔洞填充的方式为：在坐标系映射表中对深度相机噪声导致的采样点孔洞进行标记占位，并采用N
‑
遍历中值滤波算法对其进行填充，在每次遍历中，对坐标系映射表中标记为孔洞的坐标点，使用其所有邻近非孔洞点坐标的中值进行赋值填充。
[0012]优选地，所述基于投影和空圆检测对点云进行三角网格化，得到三角网格模型的过程为：将点云投影到相机坐标系的平面，对于投影空间中的每个顶点，借助坐标系映射表检索可能与其组成三角形的顶点的空间坐标，生成三角网格索引，即每个三角形顶点在点云中的下标序列；基于三角网格索引，对三角网格中的每个三角在相机坐标系空间中进行空圆检测；对未通过空圆检测的三角形在投影空间内对其所在的四边形网格进行局部优化，调整四边形网格四个相邻顶点的连接顺序；删除局部优化后仍未通过空圆检测的三角形后得到三角网格模型。
[0013]优选地，空圆检测的方式为：使用以三角形内接圆圆心和半径为球心和半径的外接球进行空圆检测，若外接球体内不包含除三角形顶点外的其他点，则三角形通过空圆检测。
[0014]优选地，所述对架空输电线路运维检修三维重建对象的彩色图进行表面反照率复原，具体为：通过在彩色图片上执行中值漂移聚类算法，对彩色图片上所有表面点颜色进行聚类，并使用聚类中值对每个表面点聚类颜色进行替换，去除高光与阴影对表面反照率的影响，实现表面反照率复原，替换后的表面点聚类颜色即为表面反照率。
[0015]优选地，根据表面反照率在各彩色通道的差异性自适应计算图中不同材质表面的粗糙度和镜面反射率的具体计算公式如下：
[0016][0017]上式中，为表面粗糙度，为表面的镜面反射率；和分别为粗糙表面与光滑表面之间CAC临界值和粗糙度临界值；为表面的反照率在各彩色通道的差异性，即CAC。
[0018]优选地，表面的反照率在各彩色通道的差异性计算公式为：
[0019]上式中，、、分别为彩色图在RGB色彩模型中的红色通道、绿色通道和蓝色通道；为彩色图在HSV色彩模型中的色明度通道；、、分别表示与色彩通道的形状差异性、与色彩通道的形状差异性、与色彩通道的形状差异性。
[0020]优选地，色彩通道的形状差异性计算公式为：
[0021]式中，和为色彩模型中的通道；定义区间活跃度为表面采样点落在和不同区间中的数量百分比，为彩色通道的活跃区间范围，即将彩色通道上活跃度大于1%最大区间活跃度的连续区间范围；为连续区间范围的区间数量；为连续区间范围中的第段区间，其中，为或；是在连续区间范围上执行的长度填充操作，具体通过在该连续区间范围前插入个隐式区间，在区间范围后插入个隐式区间，实现区间范围长度的增加，其中，当时，为。
[0022]优选地，所述根据坐标系映射表将表面反照率、粗糙度和镜面反射率映射到坐标
系中，得到三角网格模型中每个顶点的渲染参数，具体为：根据坐标系映射表将表面反照率、粗糙度和镜面反射率以参数纹理贴图的格式映射到相机坐标系中，其中参数纹理贴图的每个像素点数据，代表在相机坐标系空间中对应空间点的渲染参数，即得到三角网格模型中每个顶点的渲染参数。
[0023]优选地，所述采用光照模型根据每个顶点的渲染参数计算表面颜色，具体为：根据每个顶点的渲染参数计算三角网格模型中每个顶点的表面颜色，表面颜色计算公式为：
[0024]式中，为观测方向，为光线入射方向；为观测方向上观测到的表面颜色；为表面采样点光线入射方向上的入射辐射率；为顶点的法线方向；代表对空间中所有方向的入射光进行积分；为基于物理的光照模型；
[0025]式中，为基于表面反照率和粗糙度得到的表面的漫反射光照模型，为基于镜面反射率得到的表面的高光反射光照模型。
[0026]优选地，表面的漫反射光照模型为：
[0027]式中,为表面上的反照率；为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应光照模型建模方法，其特征在于：所述方法包括以下步骤：根据架空输电线路运维检修三维重建对象的深度图计算图中表面采样点在相机坐标系空间中的位置，构成三维表面采样点云，同时创建相应的坐标系映射表；根据坐标系映射表对点云进行孔洞填充后，基于投影和空圆检测对点云进行三角网格化，得到三角网格模型；对架空输电线路运维检修三维重建对象的彩色图进行表面反照率复原，根据表面反照率在各彩色通道的差异性自适应计算图中不同材质表面的粗糙度和镜面反射率；根据坐标系映射表将表面反照率、粗糙度和镜面反射率映射到坐标系中，得到三角网格模型中每个顶点的渲染参数；建立基于物理的光照模型并采用光照模型根据每个顶点的渲染参数计算表面颜色，根据计算的表面颜色对三角网格模型进行着色与渲染，得到架空输电线路运维检修三维重建对象的光照模型。2.根据权利要求1所述的一种自适应光照模型建模方法，其特征在于：表面采样点 在相机坐标系空间中的位置计算公式为：其中, 为深度图中位置的深度值；为位置的空间坐标缩放因子。3.根据权利要求2所述的一种自适应光照模型建模方法，其特征在于：创建坐标系映射表和：。4.根据权利要求1所述的一种自适应光照模型建模方法，其特征在于：所述根据坐标系映射表对点云进行孔洞填充的方式为：在坐标系映射表中对深度相机噪声导致的采样点孔洞进行标记占位，并采用N
‑
遍历中值滤波算法对其进行填充，在每次遍历中，对坐标系映射表中标记为孔洞的坐标点，使用其所有邻近非孔洞点坐标的中值进行赋值填充。5.根据权利要求1所述的一种自适应光照模型建模方法，其特征在于：所述基于投影和空圆检测对点云进行三角网格化，得到三角网格模型的过程为：将点云投影到相机坐标系的平面，对于投影空间中的每个顶点，借助坐标系映射表检索可能与其组成三角形的顶点的空间坐标，生成三角网格索引，即每个三角形顶点在点云中的下标序列；基于三角网格索引，对三角网格中的每个三角在相机坐标系空间中进行空圆检测；对未通过空圆检测的三角形在投影空间内对其所在的四边形网格进行局部优化，调整四边形网格四个相邻顶点的连接顺序；删除局部优化后仍未通过空圆检测的三角形后得到三角网格模型。6.根据权利要求1或5所述的一种自适应光照模型建模方法，其特征在于：所述空圆检测的方式为：使用以三角形内接圆圆心和半径为球心和半径的外接球进行空圆检测，若外接球体内
不包含除三角形顶点外的其他点，则三角形通过空圆检测。7.根据权利要求1所述的一种自适应光照模型建模方法，其特征在于：所述对架空输电线路运维检修三维重建对象的彩色图进行表面反照率复原，具体为：通过在彩色图片上执行中值漂移聚类算法，对彩色图片上所有表面点颜色进行聚类，并使用聚类中值对每个表面点聚类颜色进行替换，去除高光与阴影对表面反照率的影响，实现表面反照率复原，替换后的表面点聚类颜色即为表面反照率。8.根据权利要求1所述的一种自适应光照模型建模方法，其特征在于：所述根据表面反照率在各彩色通道的差异性自适应计算图中不同材质表面的粗糙度和镜面反射率的具体计算公式如下：；；上式中，为表面粗糙度，为表面的镜面反射率；和分别为粗糙表面与光滑表面之间CAC临界值和粗糙度临界值；为表面的反照率在各彩色通道的差异性，即CAC。9.根据权利要求1所述的一种自适应光照模型建模方法，其特征在于：表面的反照率在各彩色通道的差异性计算公式为：；上式中，、、分别为彩色图在RGB色彩模型中的红色通道、绿色通道和蓝色通道；为彩色图在HSV色彩模型中的色明度通道；、、分别表示与色彩通道的形状差异性、与色彩通道的形状差异性、与色彩通道的形状差异性。10.根据权利要求9所述的一种自适应光照模型建模方法，其特征在于：色彩通道的形状差异性计算公式为：；式中，和为色彩模型中的通道；定义区间活跃度为表面采样点落在和不同区间中的数量百分比，为彩色通
道的活跃区间范围，即将彩色通道上活跃度大于1%最大区间活跃度的连续区间范围；为连续区间范围的区间数量；为连续区间范围中的第段区间，其中，为或；是在连续区间范围上执行的长度填充操作，具...

【专利技术属性】
技术研发人员：何冰，王浩洋，徐晓明，何良华，郭歌，孟夏卿，余快，印明骋，刘龙飞，马野，
申请(专利权)人：国网上海市电力公司，
类型：发明
国别省市：