本公开关于一种图像分割方法和装置、图像分割模型的训练方法和装置、电子设备以及计算机可读存储介质。该图像分割方法包括：获取待分割图像和待分割图像中的指定点的坐标信息；获取待分割图像的第一深度图；将待分割图像、待分割图像中的指定点的坐标信息以及第一深度图输入到图像分割模型中，由图像分割模型确定指定点在待分割图像中的三维空间中所在的平面在待分割图像中所对应的区域。由此能够不受图像纹理和语义类别的限制，进行准确的图像分割。分割。分割。
【技术实现步骤摘要】
图像分割方法和装置及图像分割模型的训练方法和装置
[0001]本公开涉及图像处理领域，尤其涉及一种图像分割方法和装置及图像分割模型的训练方法和装置。
技术介绍
[0002]图像分割是指将图像分割出感兴趣的区域或对象的过程。根据在分割过程中是否需要用户的参与，可将图像分割分为交互式图像分割和无监督(自动)图像分割。交互式图像分割简单来说是指根据用户的需求来分割出用户所期望的区域或对象。对于根据用户在图像中指定的位置来分割出该位置在图像中的三维空间中所在的平面的区域的交互式图像分割，目前，传统方法是依赖颜色特征进行扩散或者聚类从而进行该区域的预测。其中，扩散的方法是从指定点开始比对当前点和周围点的颜色特征，根据颜色特征相似度进行扩散，最终得到指定点附近颜色特征相似的一块区域。聚类的方法是指先随机生成一些聚类中心，然后根据颜色特征不断迭代聚类中心的每个中心对应的区域，在收敛稳定后指定点所在的区域就是预测结果。然而，由于传统方法仅依赖颜色特征进行预测，所以只能应对指定点在图像中的三维空间中所在的平面的区域内部纹理简单一致且与其他区域纹理有明显区别的情况。并且，通过传统方法预测的区域不能保证在三维空间中是个平面，而仅仅是颜色特征相似的一个区域。
[0003]此外，随着深度学习技术的逐步深入，出现了基于深度学习通过语义分割或实例分割来预测该区域的方法。语义分割可以预测图像中每个点的语义类别，并将与指定点语义相同的区域作为预测结果。实例分割是在语义分割前加一个检测环节，先检测出每个实例的大概区域，再对该区域进行语义分割，最后将与指定点语义相同的区域作为预测结果。然而，上述方法所能预测的区域受类别数量的限制，仅能预测墙面、地面等有限类别，而无法通用到所有的平面。另外，语义分割无法处理语义相同但不在同一平面上的情况。并且，实例分割一般只能用于前景物体，对于没有明显边界的背景(例如墙面)无法适用。
技术实现思路
[0004]本公开提供一种图像分割方法和装置、图像分割模型的训练方法和装置、电子设备、计算机可读存储介质以及计算机程序产品，以至少解决上述现有技术中存在的问题。
[0005]根据本公开实施例的第一方面，提供一种图像分割方法，其中，包括：获取待分割图像和所述待分割图像中的指定点的坐标信息；获取所述待分割图像的第一深度图；将所述待分割图像、所述待分割图像中的指定点的坐标信息以及所述第一深度图输入到图像分割模型中，由所述图像分割模型确定所述指定点在所述待分割图像中的三维空间中所在的平面在所述待分割图像中所对应的区域。
[0006]可选地，获取所述待分割图像的第一深度图的步骤包括：将所述待分割图像输入到深度估计网络，由所述深度估计网络得到所述第一深度图。
[0007]可选地，所述深度估计网络是通过使用深度估计训练图像及所述深度估计训练图
像的不含有噪声的深度图对卷积神经网络进行有监督的训练而得到的。
[0008]可选地，由所述图像分割模型确定所述指定点在所述待分割图像中的三维空间中所在的平面在所述待分割图像中所对应的区域的步骤包括：基于所述坐标信息，得到包含所述坐标信息的坐标图像；将所述待分割图像、所述坐标图像以及所述第一深度图输入到图像分割模型中，由所述图像分割模型确定所述指定点在所述待分割图像中的三维空间中所在的平面在所述待分割图像中所对应的区域。
[0009]可选地，所述坐标图像是与所述坐标信息对应的点的像素值为1、其他点的像素值为0的尺寸与所述待分割图像相同的图像。
[0010]可选地，所述图像分割模型包括：语义特征编码器、结构特征编码器和解码器，其中，将所述待分割图像、所述待分割图像中的指定点的坐标信息以及所述第一深度图输入到图像分割模型中，由所述图像分割模型确定所述指定点在所述待分割图像中的三维空间中所在的平面在所述待分割图像中所对应的区域的步骤包括：将所述待分割图像和所述待分割图像中的指定点的坐标信息输入到所述语义特征编码器，得到所述指定点的语义特征；将所述待分割图像中的指定点的坐标信息以及所述第一深度图输入到所述结构特征编码器，得到所述指定点的结构特征；将所述语义特征和所述结构特征输入到所述解码器，得到所述指定点在所述待分割图像中的三维空间中所在的平面在所述待分割图像中所对应的区域。
[0011]可选地，在将所述待分割图像、所述待分割图像中的指定点的坐标信息以及所述第一深度图输入到图像分割模型之前，利用所述待分割图像对所述第一深度图进行导向滤波，并将滤波后的所述第一深度图与所述待分割图像、所述待分割图像中的指定点的坐标信息输入到图像分割模型中，由所述图像分割模型确定所述指定点在所述待分割图像中的三维空间中所在的平面在所述待分割图像中所对应的区域。
[0012]根据本公开实施例的第二方面，提供一种图像分割模型的训练方法，其中，包括：获取训练图像、所述训练图像中的指定点的坐标信息以及所述指定点在所述训练图像中的三维空间中所在的平面在所述训练图像中所对应的真实区域；获取所述训练图像的第一深度图；将所述训练图像、所述训练图像中的指定点的坐标信息以及所述第一深度图输入到图像分割模型中，由所述图像分割模型确定所述指定点在所述训练图像中的三维空间中所在的平面在所述训练图像中所对应的预测区域；基于所述预测区域和所述真实区域之间的差异，调整所述图像分割模型的参数，对所述图像分割模型进行训练。
[0013]可选地，获取所述指定点在所述训练图像中的三维空间中所在的平面在所述训练图像中所对应的真实区域的步骤包括：获取所述训练图像的不含噪声的第二深度图；基于所述第二深度图的深度信息，获取所述指定点在所述训练图像中的三维空间中所在的平面在所述训练图像中所对应的真实区域。
[0014]可选地，基于所述第二深度图的深度信息，获取所述指定点在所述训练图像中的三维空间中所在的平面在所述训练图像中所对应的真实区域的步骤包括：根据所述第二深度图的深度信息和所述指定点的坐标信息，获取所述指定点和与所述指定点相邻的两个点的深度值；基于所述指定点和与所述指定点相邻的两个点的坐标信息和深度值，得到所述指定点在所述训练图像中的三维空间中所在的平面的方程式；根据所述平面的方程式，确定所述第二深度图中位于所述平面上的点，并将该点所对应的所述训练图像中的点的集合
作为所述指定点在所述训练图像中的三维空间中所在的平面在所述训练图像中所对应的真实区域。
[0015]可选地，与所述指定点相邻的两个点包括与所述指定点在横向上相邻的一个点和与所述指定点在纵向上相邻的一个点。
[0016]可选地，由所述图像分割模型确定所述指定点在所述训练图像中的三维空间中所在的平面在所述训练图像中所对应的预测区域的步骤包括：基于所述坐标信息，得到包含所述坐标信息的坐标图像；将所述训练图像、所述坐标图像以及所述第一深度图输入到图像分割模型中，由所述图像分割模型确定所述指定点在所述训练图像中的三维空间中所在的平面在所述训练图像中所对应的预测区域。
[0017]可选地，所述坐标图像是与所述坐标信息对本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像分割方法，其特征在于，包括：获取待分割图像和所述待分割图像中的指定点的坐标信息；获取所述待分割图像的第一深度图；将所述待分割图像、所述待分割图像中的指定点的坐标信息以及所述第一深度图输入到图像分割模型中，由所述图像分割模型确定所述指定点在所述待分割图像中的三维空间中所在的平面在所述待分割图像中所对应的区域。2.根据权利要求1所述的图像分割方法，其特征在于，获取所述待分割图像的第一深度图的步骤包括：将所述待分割图像输入到深度估计网络，由所述深度估计网络得到所述第一深度图。3.一种图像分割模型的训练方法，其特征在于，包括：获取训练图像、所述训练图像中的指定点的坐标信息以及所述指定点在所述训练图像中的三维空间中所在的平面在所述训练图像中所对应的真实区域；获取所述训练图像的第一深度图；将所述训练图像、所述训练图像中的指定点的坐标信息以及所述第一深度图输入到图像分割模型中，由所述图像分割模型确定所述指定点在所述训练图像中的三维空间中所在的平面在所述训练图像中所对应的预测区域；基于所述预测区域和所述真实区域之间的差异，调整所述图像分割模型的参数，对所述图像分割模型进行训练。4.根据权利要求3所述的训练方法，其特征在于，获取所述指定点在所述训练图像中的三维空间中所在的平面在所述训练图像中所对应的真实区域的步骤包括：获取所述训练图像的不含噪声的第二深度图；基于所述第二深度图的深度信息，获取所述指定点在所述训练图像中的三维空间中所在的平面在所述训练图像中所对应的真实区域。5.根据权利要求4所述的训练方法，其特征在于，基于所述第二深度图的深度信息，获取所述指定点在所述训练图像中的三维空间中所在的平面在所述训练图像中所对应的真实区域的步骤包括：根据所述第二深度图的深度信息和所述指定点的坐标信息，获取所述指定点和与所述指定点相邻的两个点的深度值；基于所述指定点和与所述指定点相邻的两个点的坐标信息和深度值，得到所述指定点在所述训练图像中的三维空间中所在的平面的方程式；根据所述平面的方程式，确定所述第二深度图中位于所...
【专利技术属性】
技术研发人员：刘继文，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。