基于多个圆球的光源估测方法和装置、智能电子设备制造方法及图纸

本发明专利技术公开了基于多个圆球的光源估测方法和装置、以及电子设备。所述方法包括：从图像中检测出镜面反射球表面上的光斑，得到光斑中心点在图像平面中的坐标；根据光斑中心点在图像平面中的坐标和摄像机的参数对光斑中心点进行反向投影得到一条射线；根据所述射线的方向和光斑中心点的法向方向计算自发光光源的方向；对图像中的朗伯体球进行亮度检测，得到朗伯体球的可视部分的球面点的亮度；对朗伯体球的可视部分的球面点分别构建光照方程，用光照方程构成超定方程组，求解得到环境光的强度和自发光光源的强度。本发明专利技术提供了一种新的光源估测方法。

【技术实现步骤摘要】
基于多个圆球的光源估测方法和装置、智能电子设备
本专利技术涉及虚拟现实技术，更具体地，涉及基于多个圆球的光源估测方法、基于多个圆球的光源估测装置、以及电子设备。
技术介绍
计算机视觉的基本任务之一，就是从摄像机获取的图像信息出发，计算三维空间中物体的几何信息，并由此重建和识别物体。而空间物体表面某点的三维几何位置与其在图像中对应点的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。摄像机标定方法，是在摄像机前放已知形状和尺寸的物体，该物体称之为标定物，对摄像机拍摄的标定物图像进行处理，利用数学方法，求取摄像机模型的内部参数和外部参数。空间点X可以通过摄像机P投影到图像平面的图像点Y＝PV,这种投影关系称为摄像机的正向投影。反向投影是针对图像平面的基本几何元素而言的，图像平面点Y的反投影是指在摄像机P的作用下具有像点Y的所有空间点的集合，在几何上，图像点Y的反投影是从摄像机光心发出并通过图像点Y的一条射线。增强现实技术是在虚拟现实技术的基础上发展起来的。虚拟现实技术已经在多个行业领域得到研究和使用，相关的虚拟现实头戴产品也纷纷出现，丰富了人们的生活。虚拟现实技术的弊端是仿真场景和客观存在环境的完全分离。使用者容易感觉到仿真物体的纹理和光线的虚假。增强现实可以将电子声音、仿真图像、虚拟光线等保持各自的表现形式，并将这些内容添加到虚拟现实中，提高虚拟物的真实感。为了将现实世界的光线渲染到虚拟环境中，依据现实世界的光情况调节虚拟物的亮度明暗变化和投影阴影变化，需要对光源进行估测。现有的三维多光源估测方法需要对场景里的物体进行平面和曲面的划分，算法比较复杂。也有利用朗伯体球估计光源的方法，但首先要划分不同光源照射的作用区域，光源线通常很模糊，难找准确，实验条件苛刻。
技术实现思路
本专利技术的目的在于提供一种新的基于多个圆球的光源估测方案。根据本专利技术的第一方面，提供了一种基于多个圆球的光源估测方法，所述多个圆球包括至少一个镜面反射球和至少一个朗伯体球，所述方法包括以下步骤：从摄像机对所述多个圆球拍照得到的图像中检测出镜面反射球表面上的光斑，得到光斑中心点在图像平面中的坐标；根据光斑中心点在图像平面中的坐标和摄像机的参数对光斑中心点进行反向投影得到一条射线；利用镜面反射原理，根据所述射线的方向和光斑中心点的法向方向计算自发光光源的方向；对所述图像中的朗伯体球进行亮度检测，得到朗伯体球的可视部分的球面点的亮度；对朗伯体球的可视部分的球面点分别构建光照方程，对朗伯体球的可视部分的球面点的光照方程构成的超定方程组求解，得到环境光的强度和自发光光源的强度。可选地，检测出的光斑的个数为m；所述光照方程为：其中，ka为环境光漫反射系数，kd是朗伯体球的表面漫反射系数，I是球面点的亮度，Ia是环境光强度，Id,i是第i个自发光光源的强度，n为球面点的单位法向量，Li是第i个自发光光源的单位向量。可选地，所述圆球为三个并且排布为三角形；利用所述三个圆球作为标定物，采用秩一约束下的基于圆球投影的标定方法用一幅含有所述三个圆球的图像对摄像机进行标定，以获得摄像机的参数。可选地，根据所述图像中的圆球的边缘投影椭圆曲线和圆球的半径，确定圆球球心的空间坐标和球面点的空间坐标。可选地，根据圆球球心的空间坐标和球面点的空间坐标，确定球面点的法向量。可选地，具有所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据权利要求1-5任一项所述的方法。可选地，所述智能电子设备为虚拟现实设备。根据本专利技术的第二方面，提供了一种基于多个圆球的光源估测装置，所述多个圆球包括至少一个镜面反射球和至少一个朗伯体球，所述装置包括以下模块：第一检测模块，用于从摄像机对所述多个圆球拍照得到的图像中检测出镜面反射球表面上的光斑，得到光斑中心点在图像平面中的坐标；第一光源计算模块，用于根据光斑中心点在图像平面中的坐标和摄像机的参数对光斑中心点进行反向投影得到一条射线；利用镜面反射原理，根据所述射线的方向和光斑中心点的法向方向计算自发光光源的方向；第二检测模块，用于对所述图像中的朗伯体球进行亮度检测，得到朗伯体球的可视部分的球面点的亮度；第二光源计算模块，用于对朗伯体球的可视部分的球面点分别构建光照方程，对朗伯体球的可视部分的球面点的光照方程构成的超定方程组求解，得到环境光的强度和自发光光源的强度。可选地，所述第一检测模块检测出的光斑的个数为m；所述光照方程为：其中，ka为环境光漫反射系数，kd是朗伯体球的表面漫反射系数，I是球面点的亮度，Ia是环境光强度，Id,i是第i个自发光光源的强度，n为球面点的单位法向量，Li是第i个自发光光源的单位向量。可选地，所述圆球为三个并且排布为三角形；所述设备还包括摄像机标定模块；所述摄像机标定模块，用于利用所述三个圆球作为标定物，采用秩一约束下的基于圆球投影的标定方法用一幅含有所述三个圆球的图像对摄像机进行标定，以获得摄像机的参数。可选地，所述设备还包括计算模块；所述计算模块，用于根据所述图像中的圆球的边缘投影椭圆曲线和圆球的半径，确定圆球球心的空间坐标和球面点的空间坐标。可选地，所述计算模块，还用于根据圆球球心的空间坐标和球面点的空间坐标，确定球面点的法向量。本专利技术提供了一种新的光源估测方法，能够实现对多光源的估测，得到环境光的强度、自发光光源的方向和强度。可选地，本专利技术利用三个圆球做为摄像机参数标定的标定物和光源估测的参考物，充分利用了圆球的空间坐标，简化了整体方案的复杂度。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本专利技术实施例提供的基于多个圆球的光源估测方法的流程图。图2示出了本专利技术另一实施例提供的基于多个圆球的光源估测方法的流程图。图3示出了本专利技术实施例提供的基于多个圆球的光源估测装置的框图。图4示出了本专利技术实施例提供的智能电子设备的硬件配置的框图。具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。首先说明，本专利技术中所指的“可视”是指可以被摄像机观测到。本专利技术中所指的“空间坐标”是指实体空间中的某个点在世界坐标系中的坐标。参见图1所示，说明本专利技术实施例提供的基于多个圆球的光源估本文档来自技高网...

【技术保护点】
一种基于多个圆球的光源估测方法，其特征在于，所述多个圆球包括至少一个镜面反射球和至少一个朗伯体球，所述方法包括以下步骤：从摄像机对所述多个圆球拍照得到的图像中检测出镜面反射球表面上的光斑，得到光斑中心点在图像平面中的坐标；根据光斑中心点在图像平面中的坐标和摄像机的参数对光斑中心点进行反向投影得到一条射线；利用镜面反射原理，根据所述射线的方向和光斑中心点的法向方向计算自发光光源的方向；对所述图像中的朗伯体球进行亮度检测，得到朗伯体球的可视部分的球面点的亮度；对朗伯体球的可视部分的球面点分别构建光照方程，对朗伯体球的可视部分的球面点的光照方程构成的超定方程组求解，得到环境光的强度和自发光光源的强度。

【技术特征摘要】
1.一种基于多个圆球的光源估测方法，其特征在于，所述多个圆球包括至少一个镜面反射球和至少一个朗伯体球，所述方法包括以下步骤：从摄像机对所述多个圆球拍照得到的图像中检测出镜面反射球表面上的光斑，得到光斑中心点在图像平面中的坐标；根据光斑中心点在图像平面中的坐标和摄像机的参数对光斑中心点进行反向投影得到一条射线；利用镜面反射原理，根据所述射线的方向和光斑中心点的法向方向计算自发光光源的方向；对所述图像中的朗伯体球进行亮度检测，得到朗伯体球的可视部分的球面点的亮度；对朗伯体球的可视部分的球面点分别构建光照方程，对朗伯体球的可视部分的球面点的光照方程构成的超定方程组求解，得到环境光的强度和自发光光源的强度。2.根据权利要求1所述的方法，其特征在于，检测出的光斑的个数为m；所述光照方程为：其中，ka为环境光漫反射系数，kd是朗伯体球的表面漫反射系数，I是球面点的亮度，Ia是环境光强度，Id,i是第i个自发光光源的强度，n为球面点的单位法向量，Li是第i个自发光光源的单位向量。3.根据权利要求1或2任一项所述的方法，其特征在于，所述圆球为三个并且排布为三角形；利用所述三个圆球作为标定物，采用秩一约束下的基于圆球投影的标定方法用一幅含有所述三个圆球的图像对摄像机进行标定，以获得摄像机的参数。4.根据权利要求1-3任一项所述的方法，其特征在于，根据所述图像中的圆球的边缘投影椭圆曲线和圆球的半径，确定圆球球心的空间坐标和球面点的空间坐标。5.根据权利要求4所述的方法，其特征在于，根据圆球球心的空间坐标和球面点的空间坐标，确定球面点的法向量。6.一种智能电子设备，其特征在于，具有所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据权利要求1-5任一项所述的方法。7.根据权利要求6所述的智能电子设备，其特征在于，所述智能电子设备为虚拟现实设备。...

【专利技术属性】
技术研发人员：仇璐，张绍谦，张超，
申请(专利权)人：歌尔科技有限公司，
类型：发明
国别省市：山东,37