提供虚拟光的方法及其处理系统技术方案

提供一种提供虚拟光的方法及处理系统。该方法包含：在移动装置上实现虚拟光源；接收用户输入，用户输入指示移动装置实时捕获多个装置传感器的当前视图的二维输出图像；接收多个传感器输出，多个传感器输出是由多个装置传感器从当前视图中感测信息而产生的，多个传感器输出包含由多个装置传感器中的一个或多个装置传感器感测的初始二维帧；以及响应于接收到多个传感器输出及用户输入，根据对虚拟光源的调节及初始二维帧，在移动装置上产生二维输出图像，其中二维输出图像的产生相对于多个传感器输出的接收是实时的。在本发明专利技术实施例中使用虚拟光源代替闪光灯，在改进移动装置捕获的图像亮度的同时，不会因移动或抖动而使图像模糊。

【技术实现步骤摘要】
相关申请的交叉引用本申请要求申请日为2015年6月15日的美国临时申请号为62/175,577的专利申请的优先权，其全部内容被合并引用到该申请中。
本专利技术涉及向图像提供虚拟光的方法及系统，更具体地涉及通过虚拟三维空间中的一个或多个虚拟光源，向图像提供虚拟光的方法及系统。
技术介绍
诸如相机或其它图像捕获工具的电子装置，可基于照亮场景的光捕获相片。在低光条件下，单独的环境光可能不足够照亮场景，以及从该场景中捕获的图像可能会灰暗或曝光不足。为了改进低光条件下的照明，许多图像捕获工具或装置可包括闪光灯，闪光灯产生闪光以补充环境光来照亮场景。尽管相机闪光灯可提供高强度光以进一步照亮场景，但不容易控制它们以产生一致的光量。这样，已获得的图像可能曝光不适度，以及可能场景的一些区域比场景的其它区域更亮。此外，高强度光可产生红眼，以及相机闪光灯的体积及重量使得它们不方便携带。还可使用图像捕获工具的自动曝光功能，来改进低光条件中的照明。该功能包含打开镜头光圈一段时间以及控制快门速度以便获得正确的曝光。尽管让镜头光圈打开一段更长的时间，会允许图像捕获工具接收更多光，以及因而更好地照亮图片，但图像捕获工具还变得对相机抖动及物体移动更加敏感，当其发生时会模糊及毁掉图片。尽管已经有尝试解决闪光灯及自动曝光功能相关问题的系统及方法，但它们都是无效的。因此，需要改进的能够照亮及捕获图片或图像且并没有上述问题的系统及方法。
技术实现思路
在本专利技术的一些实施例中，提供一种提供虚拟光的方法。该方法包括：在移动装置上实现虚拟光源，虚拟光源在虚拟三维空间中是可调节的；接收用户输入，用户输入指示移动装置实时捕获多个装置传感器的当前视图的二维输出图像；接收多个传感器输出，多个传感器输出是由多个装置传感器从当前视图中感测信息而产生的，多个传感器输出包含由多个装置传感器中的一个或多个装置传感器感测的初始二维帧；以及响应于接收到多个传感器输出及用户输入，根据对虚拟光源的调节及初始二维帧，在移动装置上产生二维输出图像，其中二维输出图像的产生相对于多个传感器输出的接收是实时的。在本专利技术的一些实施例中，提供一种提供虚拟光的处理系统。该处理系统包括：处理器及相关电路用于：接收用户输入，用户输入指示移动装置实时捕获多个装置传感器的当前视图的二维输出图像；接收多个传感器输出，多个传感器输出是由多个装置传感器从当前视图中感测信息而产生的，多个传感器输出包含由多个装置传感器中的一个或多个装置传感器感测的初始二维帧，从多个传感器输出中的至少一些传感器输出，创造虚拟三维空间，在接收调节所生成的信号之后，根据对在虚拟三维空间中的虚拟光源的调节，向虚拟三维空间提供提亮效果；以及响应于接收到多个传感器输出及用户输入，根据对虚拟光源的调节及初始二维帧，产生二维输出图像，其中二维输出图像的产生相对于多个传感器输出的接收是实时的。基于以上技术方案，在本专利技术实施例中使用虚拟光源代替闪光灯，在改进移动装置捕获的图像亮度的同时，不会因移动或抖动而使图像模糊。附图说明结合附图阅读随后的详细描述之后，本专利技术的本质及各种有益效果将变得显而易见，在其中相同的序号表示相同的部分，其中：图1是根据本专利技术一些实施例的用于向图像提供虚拟光的方法的示意图；图2是根据本专利技术一些实施例的用于执行图1所示的方法的系统的示意图；图3是根据本专利技术一些实施例的用于调节一个或多个虚拟光源的用户界面的示意图；图4是根据本专利技术一些实施例的用于生成提亮图像的场景树及渲染器的示意图；图5是根据本专利技术一些实施例的创造提亮图像的方法的示意性流程图；图6是根据本专利技术一些实施例的，基于用户已调节的提亮参数创造提亮图像的方法的示意性流程图；图7是根据本专利技术一些实施例的，根据用户已调节的提亮参数产生已提亮图像的方法的示意性流程图；图8是根据本专利技术一些实施例的，根据已自动调节的提亮参数产生已提亮图像的方法的示意性流程图；图9是根据本专利技术一些实施例的，使用虚拟光源捕获视频的系统架构的示意图。具体实施方式根据本专利技术的原理，提供一种有益的系统，该系统尤其有用于于智能手机或平板，但可被识别具有其它应用。一般地，为了改进已捕获的图像或视频，提供一种功能，在该功能中使用传感器信息生成鉴于智能手机的传感器的场景的虚拟三维(three-dimensional，3D)模型。接着使用虚拟3D模型来生成二维(two-dimensional，2D)提亮图像。将提亮图像应用于场景的已捕获图像，以改进已捕获图像或视频的亮度。如果需要，可将虚拟光源实现为该操作的一部分，如果需要，可在虚拟3D空间中移动、调节或修改该虚拟光源，以调节提亮图像以及进而调节已提亮图像。本专利技术实施例为可应用于图像、视频或其它视图捕获应用。在一些实施例中，在其中提供“实况转播”功能，当用户使用他们装置上的相机时，实现该功能的装置向该用户提供该功能。该功能可实现为可选选项，用户通过或结合相机应用激活可选选项，以选择在当前图像或视图上使用该功能，或者在已记录在该装置上的图像或视图上使用该功能(例如，显示的交互选项，其允许用户应用该功能)。在用户通过装置的屏幕观察特定的场景时，在用户选择(触发相机)捕获图像或视频之前的预览模式中，该功能还可实现为可用或可操作的，其中该装置显示了相机的视野。与仅在用户选择记录图像或视频时使用该功能相反，相机的自动激活也是可预期的。该技术比在拍照时使用实际闪光灯有显著的优势。实际闪光灯的定时、放大及功耗会造成复杂性和缺点。应理解的是本说明书可应用于实现为系统、方法、计算机可读介质、装置或其它设置。请参考图1，其示意出用于向图像提供虚拟光的方法100的一个实施例。方法100可包含接收多个传感器捕获的多个帧(帧接收步骤105)，基于已接收到的多个帧中的一个帧获得原始图像(原始图像获得步骤110)，基于已接收到的多个帧中的一组帧构建3D模型(3D模型构建步骤115)，提供一个或多个虚拟光源(虚拟光源提供步骤120)，调节一个或多个虚拟光源的一个或多个提亮参数(参数调节步骤125)，基于3D模型及具有已调节的参数一个或多个虚拟光源生成提亮图像(提亮图像生成步骤130)，以及基于原始图像及提亮图像生成已提亮图像(已提亮图像生成步骤135)。其中，在提供实现虚拟光源时，通过所述多个装置传感器中的一个或多个装置传感器从所述当前视图中感测信息以确定环境光及物体。其中，在一实施例中，已提亮图像的生成相对于原始图像的接收是实时的。例如，接收多个传感器捕获的多个帧，基于已接收到的多个帧中的一个帧获得原始图像，接收该原始图像，利用该原始图像和提亮图像生成已提亮图像，在此方式下，已提亮图像的生成相对于原始图像的接收是实时的。图2是用于执行方法100的系统200的一个实施例的示意图。系统200可包含多个传感器205、构建模块210、应用处理器(Application Processor，AP)215和图形处理器220。传感器205用于捕获多个帧，该多个帧包括从其获得原始图像的一个帧，构建模块210用于从多个帧中的两个或多个帧创造3D模型，应用处理器215用于创造具有提亮节点的3D场景树，以及图形处理器220用于基于3D模型及具有已调节的提亮节点的3D场景树渲染提亮图像，以及本文档来自技高网...

【技术保护点】
一种提供虚拟光的方法，其特征在于，包含：在移动装置上实现虚拟光源，所述虚拟光源在虚拟三维空间中是可调节的；接收用户输入，所述用户输入指示所述移动装置实时捕获多个装置传感器的当前视图的二维输出图像；接收多个传感器输出，所述多个传感器输出是由所述多个装置传感器从所述当前视图中感测信息而产生的，所述多个传感器输出包含由所述多个装置传感器中的一个或多个装置传感器感测的初始二维帧；以及响应于接收到所述多个传感器输出及所述用户输入，根据对所述虚拟光源的调节及所述初始二维帧，在所述移动装置上产生所述二维输出图像，其中所述二维输出图像的产生相对于传感器输出的接收是实时的。

【技术特征摘要】
2015.06.15 US 62/175,577;2016.03.31 US 15/088,0701.一种提供虚拟光的方法，其特征在于，包含：在移动装置上实现虚拟光源，所述虚拟光源在虚拟三维空间中是可调节的；接收用户输入，所述用户输入指示所述移动装置实时捕获多个装置传感器的当前视图的二维输出图像；接收多个传感器输出，所述多个传感器输出是由所述多个装置传感器从所述当前视图中感测信息而产生的，所述多个传感器输出包含由所述多个装置传感器中的一个或多个装置传感器感测的初始二维帧；以及响应于接收到所述多个传感器输出及所述用户输入，根据对所述虚拟光源的调节及所述初始二维帧，在所述移动装置上产生所述二维输出图像，其中所述二维输出图像的产生相对于传感器输出的接收是实时的。2.如权利要求1所述的方法，其特征在于，还包含：在所述移动装置的预览屏幕中显示所述当前视图；在所述移动装置的用户界面中显示所述三维空间中的所述虚拟光源；接收对所述虚拟光源的用户已选的调节；根据已接收的所述用户已选的调节，调节所述虚拟光源；以及根据所述已调节的虚拟光源，实时地在所述预览屏幕上显示所述当前视图的已修改的版本。3.如权利要求1所述的方法，其特征在于，还包含：在所述移动装置的显示屏上提供视野，以及使用所述虚拟光源产生的提亮效果，产生所述视野显示的当前视图。4.如权利要求1所述的方法，其特征在于，所述对所述虚拟光源的调节包括调节所述虚拟光源的位置、辐射方向、辐射区域、辐射强度、辐射类型或颜色。5.如权利要求1所述的方法，其特征在于，其中所述对所述虚拟光源的调节是由以下提供的：显示用户界面，所述用户界面包括所述三维空间中的所述虚拟光源；接收对所述虚拟光源的用户已选的调节；以及根据已接收的用户已选的调节，调节所述虚拟光源。6.如权利要求1所述的方法，其特征在于，所述在移动装置上实现虚拟光源
\t的步骤包含通过所述多个装置传感器中的一个或多个装置传感器从所述当前视图中感测信息以确定环境光。7.如权利要求6所述的方法，其特征在于，所述确定环境光的步骤为产生显示屏作为视野的一部分。8.如权利要求6所述的方法，其特征在于，所述确定环境光的步骤为产生所述二维输出图像的一部分。9.如权利要求1所述的方法，其特征在于，实现在移动装置上实现虚拟光源的步骤包含通过所述多个装置传感器中的一个或多个装置传感器从所述当前视图中感测信息以确定环境光及物体。10.如权利要求1所述的方法，其特征在于，所述虚拟三维空间是从所述多个传感器输出中的至少一些传感器输出构建而来的。11.如权利要求1所述的方法，其特征在于，所述产生二维输出图像的步骤包含根据所述虚拟光源的调节及所述虚拟三维空间，生成二维提亮图像。12.如权利要求11所述的方法，其特征在于，所述二维提亮图像为仅包含提亮信息的图像，所述提亮信息来自于所述对所述虚拟光源的调节及所述虚拟三维空间。13.如权利要求12所述的方法，其特征在于，所述产生所述二维输出图像的步骤包含将所述二维提亮图像与所述预备二维图像合并。14.如权利要求11所述的方法，其特征在于，所述产生所述二维提亮图像的步骤包含：创造三维场景树，所述三维场景树包含一个或多个提亮节点；根据对所述虚拟光源的所述调节，调节所述一个或多个提亮节点；以及基于已调节的一个或多个提亮节点，渲染所述二维提亮图像。15.如权利要求1所述的方法，其特征在于，还包含：在所述当前视图感测信息之前，同步所述多个装置传感器，以同时感测所述当前视图中的信息。16.一种提供虚拟光...

【专利技术属性】
技术研发人员：詹政哲，陈正哲，黄柏华，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71