天空分割方法、装置、计算机设备及存储介质制造方法及图纸

本申请公开了一种天空分割的方法、装置、计算机设备及存储介质，涉及图像处理领域。该方法包括：获取图像的第一图像分割概率，第一图像分割概率用于指示图像上的像素点属于天空的概率；基于图像与天空半球的位置映射关系，根据目标像素点的第一图像分割概率确定天空半球的天空分割概率，天空半球为以采集图像的相机为中心建立的半球模型，目标像素点是在天空半球上存在对应空间点的像素点，天空分割概率用于指示天空半球上的空间点属于天空的概率；基于位置映射关系，根据天空分割概率确定目标像素点的第二图像分割概率。本申请提供了一种通过图像与天空半球的映射确定图像中天空区域的天空分割方法，提高了天空分割的准确性。确性。确性。

【技术实现步骤摘要】
天空分割方法、装置、计算机设备及存储介质


[0001]本申请实施例涉及图像处理领域，特别涉及一种天空分割方法、装置、计算机设备及存储介质。

技术介绍

[0002]天空分割是指将图像中的天空区域与非天空区域进行分割。根据分割的结果，可以在天空区域进行天空变换或者添加特效，例如，变换天空的颜色，或者，在天空区域添加流星动画，等等。
[0003]相关技术中对当前图像采用颜色阈值划分方法或者深度学习网络模型进行天空分割。该方法通过计算当前图像上的每一个像素点属于天空区域的概率，得到当前图像的天空分割概率图，进而实现天空分割。
[0004]然而，在天空区域和地面区域的颜色特征相似的情况下，地面区域可能会被误判为天空区域，导致天空分割的结果准确率不高。如何准确的实现天空分割，是需要解决的问题。

技术实现思路

[0005]本申请实施例提供了一种天空分割方法、装置、计算机设备及存储介质，能够提高天空分割的准确率。所述技术方案如下：
[0006]一方面，提供了一种天空分割方法，所述方法包括：
[0007]获取图像上的像素点的第一图像分割概率，所述第一图像分割概率用于指示所述像素点属于天空的概率；
[0008]基于所述图像与天空半球的位置映射关系，根据目标像素点的所述第一图像分割概率确定所述天空半球上的空间点的天空分割概率，所述天空半球为以采集所述图像的相机为中心建立的半球模型，所述目标像素点是在所述天空半球上存在对应空间点的像素点；
[0009]基于所述位置映射关系，根据所述天空半球上的空间点的天空分割概率确定所述目标像素点的第二图像分割概率，所述第二图像分割概率用于指示所述目标像素点属于天空的概率。
[0010]另一方面，提供了一种天空分割装置，所述装置包括：
[0011]获取模块，用于获取图像上的像素点的第一图像分割概率，所述第一图像分割概率用于指示所述图像上的像素点属于天空的概率；
[0012]天空确定模块，用于基于所述图像与天空半球的位置映射关系，根据目标像素点的所述第一图像分割概率确定所述天空半球上的空间点的天空分割概率，所述天空半球为以采集所述图像的相机为中心建立的半球模型，所述目标像素点是在所述天空半球上存在对应空间点的像素点；
[0013]图像确定模块，用于基于所述位置映射关系，根据所述天空半球上的空间点的天
空分割概率确定所述目标像素点的第二图像分割概率，所述第二图像分割概率用于指示所述目标像素点属于天空的概率。
[0014]另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上述本申请实施例中任一所述的天空分割方法。
[0015]另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有计算机指令，所述计算机指令由处理器加载并执行以实现如本申请各个方面提供的天空分割方法。
[0016]另一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述天空分割方法。
[0017]本申请实施例提供的技术方案带来的有益效果至少包括：
[0018]通过将图像上的像素点的图像分割概率映射到天空半球上，使得属于地面区域的像素点无法被映射到天空半球上，从而避免了将与天空颜色相近的地面误判为天空的情况，再根据空间点的天空分割概率确定图像的天空分割结果。通过在对图像进行天空分割的过程中结合天空半球的模型，提高了天空分割的准确性。
附图说明
[0019]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本申请一个示例性实施例提供的天空半球的示意图；
[0021]图2是本申请一个示例性实施例提供的相机坐标系的示意图；
[0022]图3是本申请一个示例性实施例提供的将天空分割方法运用于视频制作中的界面示意图；
[0023]图4是本申请另一个示例性实施例提供的一种计算机系统的结构框图；
[0024]图5是本申请一个示例性实施例提供的天空分割方法的流程示意图；
[0025]图6是本申请一个示例性实施例提供的获得图像的第一图像分割概率的示意图；
[0026]图7是本申请一个示例性实施例提供的天空分割方法的流程示意图；
[0027]图8是本申请一个示例性实施例提供的基于像素点的坐标确定空间点的经度和纬度的流程示意图；
[0028]图9是本申请一个示例性实施例提供的基于空间点的经度和纬度确定像素点的坐标的流程示意图；
[0029]图10是本申请一个示例性实施例提供的天空分割装置的结构框图；
[0030]图11本申请一个示例性实施例提供的终端的结构框图。
具体实施方式
[0031]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0032]首先，对本申请实施例中所涉及的术语进行介绍：
[0033]IMU：惯性测量单元(Inertial Measurement Unit)的简称。IMU一般包括加速度传感器，角速度传感器(陀螺仪)和磁力计。本申请中终端通过获取的IMU组件的数据，可以确定终端上的相机的姿态。
[0034]天空分割(Sky Segmentation)：在图像画面中，对天空区域和非天空区域进行分割，确定天空区域。
[0035]天空半球：以采集图像的相机为中心建立的半径长度为s的半球模型，通常情况下，设置s的值为相机焦距的两倍。天空半球的球面上的点的位置可以通过经度和纬度唯一确定，类似于通过经度和纬度唯一确定地球仪上的点的方法。
[0036]示意性的如图1，以采集图像的相机22作为半球模型的中心，以相机22的焦距的两倍作为半球模型的半径，建立天空半球24。
[0037]光心：相机凸透镜的中心。
[0038]世界坐标系：为绝对坐标系，在选定后不变且唯一。本申请中以相机位置为原点O，以正南方向为x轴，以正西方向为y轴，以竖直向下方向为z轴为例建立世界坐标系。本申请对建立世界坐标系的方法不加以限制。
[0039]相机坐标系：用于指示相机的拍摄物相对于相机的位置关系。如图所示，本申请中以光心(也即小孔成像中的小孔)为原点O，以与相机光心垂直且指向拍摄物的方向为z轴为例，建立相机坐标系。
[0040]示意性的如图2，图2中示出了相机拍摄原理中的小孔成像模型以及本申请中采用的建立相机坐标系的方式。光源P的光沿直线传播，透过相机的光心O，即小孔成像模型中的小孔，落在与相机镜头距本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种天空分割方法，其特征在于，所述方法包括：获取图像上的像素点的第一图像分割概率，所述第一图像分割概率用于指示所述像素点属于天空的概率；基于所述图像与天空半球的位置映射关系，根据目标像素点的所述第一图像分割概率确定所述天空半球上的空间点的天空分割概率，所述天空半球为以采集所述图像的相机为中心建立的半球模型，所述目标像素点是在所述天空半球上存在对应空间点的像素点；基于所述位置映射关系，根据所述天空半球上的空间点的天空分割概率确定所述目标像素点的第二图像分割概率，所述第二图像分割概率用于指示所述目标像素点属于天空的概率。2.根据权利要求1所述的方法，其特征在于，所述基于所述图像与天空半球的位置映射关系，根据目标像素点的所述第一图像分割概率确定所述天空半球上的空间点的天空分割概率，包括：在所述图像上的像素点进行三维球面映射后的空间点属于天空半球的情况下，将所述像素点确定为所述目标像素点；根据所述目标像素点的第一图像分割概率确定与所述目标像素点对应的空间点的天空分割概率。3.根据权利要求2所述的方法，其特征在于，所述在所述图像上的像素点进行三维球面映射后的空间点属于天空半球的情况下，将所述像素点确定为所述目标像素点，包括：通过对所述图像上的像素点进行三维球面映射，确定所述像素点对应的空间点的经度和纬度；在所述空间点的纬度属于所述天空半球的情况下，将所述像素点确定为所述目标像素点。4.根据权利要求2所述的方法，其特征在于，所述根据所述目标像素点的第一图像分割概率确定与所述目标像素点对应的所述空间点的天空分割概率，包括：将所述目标像素点的第一图像分割概率确定为与所述目标像素点对应的所述空间点的天空分割概率。5.根据权利要求2所述的方法，其特征在于，所述根据所述目标像素点的第一图像分割概率确定与所述目标像素点对应的所述空间点的天空分割概率，包括：将所述目标像素点的第一图像分割概率确定为与所述目标像素点对应的所述空间点的第一天空分割概率；根据所述第一天空分割概率和第二天空分割概率，通过滤波方法确定与所述目标像素点对应的所述空间点的第三天空分割概率，所述第二天空概率用于指示所述空间点在历史时刻属于天空的概率，所述第三天空概率用于指示所述空间点在当前时刻属于天空的概率；其中，所述滤波方法包括如下滤波方法中的至少一种：加权滤波；卡尔曼滤波；均值滤波；中值滤波。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：采用所述天空半球上的每个空间点的所述第三天空分割概率替换所述第二天空分割概率，得到当前时刻的所述天空半球进行缓存；
其中，所述当前时刻的所述天空半球用于在下一时刻进行对所述第三天空分割概率的滤波计算。7.根据权利要求3所述的方法，其特征在于，所述通过对所述图像上的像素点进行三维球面映射，确定所述像素点对应的空间点的经度和纬度，包括：根据惯性测量单元IMU确定所述相机的旋转姿态；根据所述像素点的坐标确定所述空间点在相机坐标系下的位置坐标；根据所述相机的旋...

【专利技术属性】
技术研发人员：郑远力，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：