一种实例确定方法以及实例留色方法技术

本申请提供一种实例确定方法以及实例留色方法，其中，实例确定方法包括：对第一图像采集装置采集的第一图像进行实例分割得到第一图像中的多个实例；获取第一图像中的对焦点，并将对焦点所在的实例确定为初始实例；获取第一图像中每个像素点对应的第一深度值；根据第一深度值确定初始实例对应的第二深度值以及其他实例对应的第三深度值；若第二深度值与第三深度值的差值的绝对值大于第一阈值，则根据第一深度值以及对焦点确定目标实例。其中，由于初始实例与其他实例之间存在深度差异，因此根据基于实例分割得到的初始实例不准确，而根据深度信息确定的目标实例的准确度更高。据深度信息确定的目标实例的准确度更高。据深度信息确定的目标实例的准确度更高。

【技术实现步骤摘要】
一种实例确定方法以及实例留色方法


[0001]本申请涉及计算机视觉
，具体而言，涉及一种实例确定方法以及实例留色方法。

技术介绍

[0002]在拍摄视频或者照片过程中，出于艺术拍摄角度的考虑，在某些场景中会将拍摄到的图像中被拍摄物的主体保留彩色，而将图像中的背景进行黑白处理，从而实现一种特殊效果。在现有技术中，一般通过神经网络的实例分割实现图像中实例的分割，然后对图像中主体的实例进行留色。但是，由于神经网络的实例分割对于含有深度的主体表现不佳，从而使得确定得到的实例不准确。

技术实现思路

[0003]本申请实施例的目的在于提供一种实例确定方法以及实例留色方法，用以解决现有技术中确定得到的实例不准确的技术问题。
[0004]第一方面，本申请实施例提供一种实例确定方法，包括：对第一图像采集装置采集的第一图像进行实例分割得到所述第一图像中的多个实例；获取所述第一图像中的对焦点，并将所述对焦点所在的实例确定为初始实例；获取所述第一图像中每个像素点对应的第一深度值；根据所述第一深度值确定所述初始实例对应的第二深度值以及其他实例对应的第三深度值；若所述第二深度值与所述第三深度值的差值的绝对值大于第一阈值，则根据所述第一深度值以及所述对焦点确定目标实例。在上述方案中，首先可以利用实例分割得到第一图像采集装置采集的第一图像中的多个实例，然后基于对焦点确定多个实例中的初始实例；然后可以获取每个实例对应的第一深度值，并在根据上述第一深度值判断初始实例与其他实例之间存在深度差异时，基于第一深度值以及对焦点确定目标实例。其中，由于初始实例与其他实例之间存在深度差异，因此根据基于实例分割得到的初始实例不准确，而根据深度信息确定的目标实例的准确度更高。
[0005]在可选的实施方式中，所述根据所述第一深度值以及所述对焦点确定目标实例，包括：在所述第一图像中查找所述对焦点对应的相关像素点；其中，所述相关像素点的第一深度值与所述对焦点的第一深度值的差值的绝对值小于第二阈值，且相邻的相关像素点之间的距离小于第三阈值；将所述相关像素点以及所述对焦点组成的区域确定为所述目标实例。在上述方案中，在根据第一深度值判断初始实例与其他实例之间存在深度差异时，可以将第一深度值与对焦点的第一深度值差异较小的像素点所在的区域确定为目标实例。因此，可以根据深度信息确定准确度更高的目标实例。
[0006]在可选的实施方式中，在所述根据所述第一深度值确定所述初始实例对应的第二深度值以及其他实例对应的第三深度值之后，所述方法还包括：若所述第二深度值与所述第三深度值的差值的绝对值不大于所述第一阈值，则将所述初始实例确定为目标实例。在上述方案中，在根据第一深度值判断初始实例与其他实例之间存在较小的深度差异或者不
存在深度差异时，可以直接将实例分割得到的初始实例确定为目标实例。其中，由于初始实例与其他实例之间不存在深度差异，因此根据基于实例分割得到的目标实例是准确的，无需根据深度信息进一步确定目标实例，从而可以降低运算量。
[0007]在可选的实施方式中，在所述对第一图像采集装置采集的第一图像进行实例分割得到所述第一图像中的多个实例之前，所述方法还包括：获取所述第一图像以及第二图像采集装置采集的第二图像；所述获取所述第一图像中每个像素点对应的第一深度值，包括：根据所述第一图像以及所述第二图像确定所述第一深度值。在上述方案中，在第一图像采集装置的基础上，可以引入第二图像采集装置；根据第一图像采集装置的第一图像以及第二图像采集装置的第二图像，可以得到上述第一深度值。因此，可以根据深度信息确定目标实例，从而提高确定的目标实例的准确度。
[0008]第二方面，本申请实施例提供一种实例留色方法，包括：获取目标实例；其中，所述目标实例根据如第一方面所述的实例确定方法确定；对所述第一图像中的所述目标实例进行留色处理，得到目标图像。在上述方案中，首先可以利用实例分割得到第一图像采集装置采集的第一图像中的多个实例，然后基于对焦点确定多个实例中的初始实例；然后可以获取每个实例对应的第一深度值，并在根据上述第一深度值判断初始实例与其他实例之间存在深度差异时，基于第一深度值以及对焦点确定目标实例。其中，由于初始实例与其他实例之间存在深度差异，因此根据基于实例分割得到的初始实例不准确，而根据深度信息确定的目标实例的准确度更高。因此，对目标实例进行留色处理后得到的目标图像的效果更好。
[0009]在可选的实施方式中，所述获取所述第一图像中每个像素点对应的第一深度值，包括：根据所述第一图像以及第二图像采集装置采集的第二图像确定所述第一深度值；其中，所述第一图像采集装置以及第二图像采集装置均为RGB相机；所述对所述第一图像中的所述目标实例进行留色处理，得到目标图像，包括：保留所述第一图像中的所述目标实例的色彩信息以及亮度信息，并去除所述第一图像中其他实例的色彩信息。在上述方案中，当第一图像采集装置以及第二图像采集装置均为RGB相机时，第二图像用于提供深度信息，从而可以据深度信息确定的目标实例的准确度更高，从而使得对目标实例进行留色处理后得到的目标图像的效果更好。
[0010]在可选的实施方式中，所述获取所述第一图像中每个像素点对应的第一深度值，包括：根据所述第一图像以及第二图像采集装置采集的第二图像确定所述第一深度值；其中，所述第一图像采集装置为RGB相机，第二图像采集装置为MONO相机；所述对所述第一图像中的所述目标实例进行留色处理，得到目标图像，包括：将所述第一图像进行YUV图像格式转换，得到所述第一图像对应的色彩信息；将所述第一图像中的所述目标实例对应的色彩信息传递给第二图像，得到所述目标图像。在上述方案中，当第一图像采集装置为RGB相机，而第二图像采集装置为MONO相机时，第一图像具有色彩信息，但是信噪比较低；而第二图像没有色彩信息，但是信噪比较高。因此，第二图像除了用于提供深度信息之外，还可以降低目标图像的噪声。
[0011]在可选的实施方式中，所述获取所述第一图像中每个像素点对应的第一深度值，包括：根据所述第一图像以及第二图像采集装置采集的第二图像确定所述第一深度值；其中，所述第一图像采集装置为RGB相机，第二图像采集装置为MONO相机；所述对所述第一图像中的所述目标实例进行留色处理，得到目标图像，包括：将第二图像对应的亮度信息传递
给所述第一图像，得到中间图像；保留所述中间图像中的所述目标实例的色彩信息以及亮度信息，并去除所述中间图像中其他实例的色彩信息。在上述方案中，当第一图像采集装置为RGB相机，而第二图像采集装置为MONO相机时，第一图像具有色彩信息，但是信噪比较低；而第二图像没有色彩信息，但是信噪比较高。因此，第二图像除了用于提供深度信息之外，还可以降低目标图像的噪声。
[0012]第三方面，本申请实施例提供一种实例确定装置，包括：分割模块，用于对第一图像采集装置采集的进行实例分割得到所述第一图像中的多个实例；第一获取模块，用于获取所述第一图像中的对焦点，并将所述对焦点所在的实例确定为初始实例；第二获取模块，用于获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实例确定方法，其特征在于，包括：对第一图像采集装置采集的第一图像进行实例分割得到所述第一图像中的多个实例；获取所述第一图像中的对焦点，并将所述对焦点所在的实例确定为初始实例；获取所述第一图像中每个像素点对应的第一深度值；根据所述第一深度值确定所述初始实例对应的第二深度值以及其他实例对应的第三深度值；若所述第二深度值与所述第三深度值的差值的绝对值大于第一阈值，则根据所述第一深度值以及所述对焦点确定目标实例。2.根据权利要求1所述的实例确定方法，其特征在于，所述根据所述第一深度值以及所述对焦点确定目标实例，包括：在所述第一图像中查找所述对焦点对应的相关像素点；其中，所述相关像素点的第一深度值与所述对焦点的第一深度值的差值的绝对值小于第二阈值，且相邻的相关像素点之间的距离小于第三阈值；将所述相关像素点以及所述对焦点组成的区域确定为所述目标实例。3.根据权利要求1或2所述的实例确定方法，其特征在于，在所述根据所述第一深度值确定所述初始实例对应的第二深度值以及其他实例对应的第三深度值之后，所述方法还包括：若所述第二深度值与所述第三深度值的差值的绝对值不大于所述第一阈值，则将所述初始实例确定为目标实例。4.根据权利要求1
‑
3任一项所述的实例确定方法，其特征在于，在所述对第一图像采集装置采集的第一图像进行实例分割得到所述第一图像中的多个实例之前，所述方法还包括：获取所述第一图像以及第二图像采集装置采集的第二图像；所述获取所述第一图像中每个像素点对应的第一深度值，包括：根据所述第一图像以及所述第二图像确定所述第一深度值。5.一种实例留色方法，其特征在于，包括：获取目标实例；其中，所述目标实例根据如权利要求1
‑
3任一项所述的实例确定方法确定；对所述第一图像中的所述目标实例进行留色处理，得到目标图像。6.根据权利要求5所述的实例留色方法，其特征在于，所述获取所述第一图像中每个像素点对应的第一深度值，包括：根据所述第一图像以及第二图像采集装置采集的第二图像确定所述第一深度值；其中，所述第一图像采集装置以及所述第二图像...

【专利技术属性】
技术研发人员：梁钢，
申请(专利权)人：北京极感科技有限公司，
类型：发明
国别省市：