用于处理图像的方法和系统技术方案

用于处理具有第一像素集的图像的方法和系统。所述方法可以包括生成图像的深度图，深度图包括表示图像中的多个物体的距离的第二像素值集。所述方法还可以包括基于深度图识别多个物体在图像中所处的多个不同深度，并且使用深度图来确定多个不同深度中的一个所识别深度与多个不同深度中的其他所识别深度中的每一个之间的相对距离。最后，所述方法可以包括基于每个所确定的相对距离对第一像素集中的像素进行模糊。

Methods and systems for image processing

【技术实现步骤摘要】
【国外来华专利技术】用于处理图像的方法和系统版权声明本专利文档的公开的一部分包含受到版权保护的材料。版权所有者不反对任何人对专利文档或专利公开的传真复制(因为它出现在专利和商标局的专利文件或记录中)，但在其他方面保留所有版权。
本公开总体上涉及图像处理技术，更具体地，涉及用于对图像进行部分模糊的方法和系统。
技术介绍
在当代摄影技术中，存在用于捕捉和处理图像的技术，其中图像中的某些物体被清晰地呈现(例如，聚焦)，而背景和/或前景物体中的其他物体看起来是模糊(例如，失焦)的。具体地，图像的目标部分被清晰地呈现，同时使用光学和/或数字模糊处理使图像中的其他部分变得柔和。这些技术产生了具有强调或突出的感兴趣点(例如，目标)的图像，该感兴趣点与图像中的其他特征分开，这是因为该感兴趣点被聚焦，而与此相比图像的其他部分看起来是失焦的。生成这种类型的图像一般需要特定类型的相机或特定的后期处理算法以生成锐利部分和模糊部分。可用于该技术的特定相机包括可以对目标进行光学聚焦的相机。这些相机包括具有光圈控制的单反(SLR)相机、具有透视控制镜头(例如，移轴镜头)的相机和光场相机。一些相机系统(包括某些智能手机中的相机系统)通过利用像素阵列捕捉数字图像，并使用后期处理算法重新渲染图像以模糊所需景深之外的像素，也可以实现这种模糊效果。例如，这些算法可以利用智能手机的双相机系统来捕捉立体图像，可以从该立体图像中识别景深以用于后处理模糊算法，或者备选地，其他相机系统可以采用应用于单个图像的手动像素模糊算法。然而，后一种方法导致不自然的模糊，看起来不美观。处理来自不同视角的多个图像将产生最佳效果，以清晰的分辨率生成目标，同时通过以人眼看起来更自然的方式进行模糊来使周围物体变得柔和。然而，用于渲染这种部分模糊的图像的现有技术并不适用于在所捕捉的多个图像之间显著移动的相机，例如，安装在可移动物体上的相机，特别是安装在可移动物体上的非立体相机(例如，2D相机)。因此，需要一种改进的处理图像的方法，该方法可以从安装在移动物体(例如，无人机UAV)上的相机捕捉的图像中生成部分模糊的图像。
技术实现思路
本公开涉及用于处理具有第一像素集的图像的系统和方法。在所公开的实施例中，所述方法可以包括生成图像的深度图，深度图包括表示图像中的多个物体的距离的第二像素值集。所述方法还可以包括基于深度图识别多个物体在图像中所处的多个不同深度，并且使用深度图来确定多个不同深度中的一个所识别深度(例如，“目标”深度)与多个不同深度中的其他所识别深度中的每一个之间的相对距离。此外，所述方法可以包括基于每个所确定的相对距离对第一像素集中的像素进行模糊。在一些实施例中，可以按照以下降序对第一像素集中的至少一些像素进行模糊：从与距目标深度最远相对距离相对应的所识别深度处的像素到与距目标深度最近相对距离相对应的所识别深度处的像素。进一步地，所公开的实施例提供了用于处理具有第一像素集的图像的系统。所述系统可以包括其中存储有指令的存储器和被配置为执行所述指令的一个或多个处理器。所述一个或多个处理器可以被配置为执行所述指令以生成图像的深度图，深度图包括表示图像中的多个物体的距离的第二像素值集。所述一个或多个处理器还可以被配置为基于深度图识别多个物体在图像中所处的多个不同深度，并且使用深度图来确定多个不同深度中的一个所识别深度与多个不同深度中的其他所识别深度中的每一个之间的相对距离。此外，所述一个或多个处理器可以被配置为基于每个所确定的相对距离对第一像素集中的像素进行模糊。在一些所公开的实施例中，本公开还涉及UAV。UAV可以包括推进装置、通信装置、至少一个图像捕捉装置、存储指令的存储器以及一个或多个处理器，所述一个或多个处理器与通信装置通信且被配置为控制UAV。所述一个或多个处理器可以被配置为执行指令以生成图像的深度图，该图像具有第一像素值集，该深度图包括表示图像中的多个物体的距离的第二像素值集。所述一个或多个处理器还可以被配置为基于深度图识别多个物体在图像中所处的多个不同深度，并且使用深度图来确定多个不同深度中的一个所识别深度与多个不同深度中的其他所识别深度中的每一个之间的相对距离。此外，控制器可以被配置为基于每个所确定的相对距离对第一像素集中的像素进行模糊。在又一些所公开的实施例中，本公开涉及存储指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时，执行处理具有第一像素集的图像的方法。在所公开的实施例中，所述方法可以包括生成图像的深度图，深度图包括表示图像中的多个物体的距离的第二像素值集。所述方法还可以包括基于深度图识别多个物体在图像中所处的多个不同深度，并且使用深度图来确定多个不同深度中的一个所识别深度与多个不同深度中的其他所识别深度中的每一个之间的相对距离。此外，所述方法可以包括基于每个所确定的相对距离对第一像素集中的像素进行模糊。附图说明图1A是根据本公开实施例的具有图像捕捉装置的示例性可移动物体的示意性框图；图1B是根据本公开实施例的可移动物体的示例性控制系统的示意性框图；图1C是根据本公开实施例的示例性用户终端的示意性框图；图2是根据所公开的实施例的具有第一像素集的示例性图像；图3是示出了根据本公开实施例的可被执行以处理图像(例如，图2的图像)的示例性序列的流程图；图4是根据本公开实施例的图2的图像的示例性深度图；图5是根据本公开实施例的显示基于图4的深度图生成的像素值组的直方图；图6是示出了根据本公开实施例的可被执行以对图像(例如，图2的图像)中的第一像素集进行模糊的示例性序列的流程图；图7是示出了根据本公开实施例的可被执行以生成图4的深度图和图5所示的像素值组的示例性序列的流程图；图8是根据本公开实施例使用图3的示例性序列对某些像素进行了模糊之后的、图2的示例性图像；以及图9是示出了根据本公开实施例的可被执行以跟踪目标并获取目标物体的图像的示例性序列的流程图。具体实施方式以下详细描述参考附图。在有可能的情况下，在附图和以下描述中使用相同的附图标记指代相同或相似的部件。尽管本文描述了若干说明性实施例，但是也可以有修改、调整和其他实施方式。例如，可以对附图中所示的部件做出替换、添加或修改，并且可以通过针对所公开的方法替换、重新排序、移除或添加步骤来修改本文所描述的说明性方法。此外，以下详细描述不限于所公开的实施例和示例。反之，适当的范围由所附权利要求限定。图1A示出了可以被配置为在环境内移动或行进的示例性可移动物体110。可移动物体110可以是被配置为行进、移动或通过合适的介质(例如，空中、水、空间、地下等)和/或在合适的支撑件(例如，表面上、轨道上等)上移动的任何合适的物体、装置、机构、系统或机器。例如，可移动物体110可以是UAV。可移动物体110也可以是由人类用户支撑的物体，包括手持式装置或身体佩戴装置。尽管出于该描述的示例性目的而在实施例中将可移动物体110示出和描述为UAV，但是可以理解，根据本公开，其他本文档来自技高网...

【技术保护点】
1.一种处理具有第一像素集的图像的方法，所述方法包括：/n生成所述图像的深度图，所述深度图包括表示所述图像中的多个物体的距离的第二像素值集；/n基于所述深度图识别多个物体在所述图像中所处的多个不同深度；/n使用所述深度图来确定所述多个不同深度中的一个所识别深度与所述多个不同深度中的其他所识别深度中的每一个之间的相对距离；以及/n基于每个所确定的相对距离对所述第一像素集中的像素进行模糊。/n

【技术特征摘要】
【国外来华专利技术】1.一种处理具有第一像素集的图像的方法，所述方法包括：
生成所述图像的深度图，所述深度图包括表示所述图像中的多个物体的距离的第二像素值集；
基于所述深度图识别多个物体在所述图像中所处的多个不同深度；
使用所述深度图来确定所述多个不同深度中的一个所识别深度与所述多个不同深度中的其他所识别深度中的每一个之间的相对距离；以及
基于每个所确定的相对距离对所述第一像素集中的像素进行模糊。


2.根据权利要求1所述的方法，还包括：
将所述深度图的所述第二像素值集分为多个组；以及
基于所述多个组识别多个物体在所述图像中所处的多个不同深度。


3.根据权利要求2所述的方法，还包括：
使用所述多个组来确定所述多个不同深度中的一个所识别深度与所述多个不同深度中的其他所识别深度中的每一个之间的相对距离；以及
基于使用所述多个组确定的每个相对距离对所述第一像素集中的像素进行模糊。


4.根据权利要求1所述的方法，其中，当对与特定的所识别深度相对应的像素进行模糊时，也对另一些像素进行模糊，所述另一些像素与距所述一个所识别深度具有更大相对距离的任何所识别深度相对应。


5.根据权利要求1所述的方法，其中，按照从最远相对距离到最近相对距离的降序来对所述第一像素集中的像素进行模糊。


6.根据权利要求2所述的方法，还包括：基于所述第二像素值集的所述多个组生成直方图。


7.根据权利要求1所述的方法，还包括：
获取多个图像；以及
根据所述多个图像计算所述深度图。


8.根据权利要求7所述的方法，其中，使用位于可移动物体上的图像捕捉装置获取所述多个图像。


9.根据权利要求7所述的方法，其中，计算所述深度图还包括：
在多个图像中提取与特征相对应的像素；
跟踪特征在所述多个图像中的相对位置；
确定所述多个图像的相机姿态信息；
计算所述多个图像中的相同特征之间的相对距离；以及
针对每个所提取的像素，基于特征之间的相对距离来确定相对深度。


10.根据权利要求9所述的方法，其中，所述多个图像中的特征还包括以下中的至少一项：拐点或物体轮廓点。


11.根据权利要求9所述的方法，还包括：在识别多个物体所处的多个不同深度之前，通过移除图像中的失真来改善所述深度图。


12.根据权利要求11所述的方法，其中，通过移除失真来改善所述深度图还包括：对每个像素执行变换。


13.根据权利要求9所述的方法，还包括：在跟踪之前通过移除一个或多个特征来过滤所提取的像素。


14.根据权利要求1所述的方法，还包括：在识别多个物体所处的多个不同深度之前，通过锐化所述多个图像的边缘来改善所述深度图。


15.根据权利要求14所述的方法，还包括：使用Kruskal算法计算最小生成树MST，以锐化所述多个图像的边缘。


16.根据权利要求9所述的方法，其中，提取与特征相对应的像素包括：进行角点检测。


17.根据权利要求9所述的方法，其中，跟踪特征包括：使用Kanade-Lucas-Tomasi(KLT)特征跟踪器。


18.根据权利要求9所述的方法，其中，确定特征的相机姿态信息包括：采用光束平差。


19.根据权利要求9所述的方法，其中，计算相同特征之间的相对距离包括：使用平面扫描来计算图像深度信息。


20.根据权利要求1所述的方法，其中，由可移动物体执行所述方法。


21.根据权利要求20所述的方法，其中，所述可移动物体是无人机。


22.根据权利要求1所述的方法，还包括：将所述图像转换为3D图像。


23.根据权利要求1所述的方法，还包括：将所述图像转换为3D视频。


24.根据权利要求1所述的方法，还包括：
控制图像捕捉装置以跟踪目标；以及
从所述图像捕捉装置获取所述目标的多个图像，所述多个图像包括在第一位置处捕捉的第一图像和在第二位置处捕捉的第二图像。


25.根据权利要求24所述的方法，还包括：
从所获取的多个图像中识别所述目标；以及
将所述目标与所述多个不同深度中的所述一个所识别深度相关联。


26.根据权利要求24所述的方法，其中，所述图像捕捉装置设置于可移动...

【专利技术属性】
技术研发人员：周游，刘洁，唐克坦，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44