一种图像处理方法和装置制造方法及图纸

本发明专利技术实施例提供了一种图像处理方法和装置，所述方法包括：获取原始深度图和灰度图；依据所述原始深度图生成拟合平面；依据所述原始深度图和所述灰度图，生成融合图像；基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域；对所述前景区域进行分辨率优化，得到目标前景；基于所述目标前景和所述拟合平面，生成目标深度图。本发明专利技术实施例能够准确检测出深度图中的前景区域，并对前景区域进行分辨率优化，提高前景区域清晰度。提高前景区域清晰度。提高前景区域清晰度。

【技术实现步骤摘要】
一种图像处理方法和装置


[0001]本专利技术涉及图像
，特别是涉及一种图像处理方法和一种图像处理装置。

技术介绍

[0002]立体视觉在测绘、三维稠密重建、自动驾驶以及视觉导航等多个前言领域有着重要的应用，而深度图像的生成一直是立体视觉领域十分关键的因素。深度图输出的精度直接影响了立体视觉系统的整体稳定性和可用性。
[0003]通常深度图的生成是经过立体匹视差配算法得到，目前的立体匹配算法相对成熟。由于立体匹配算法运算消耗较大，所以在实时处理系统中，通常采用相机设备内部集成立体匹配算法(即设备直接输出深度图)，而不需要用户后端实现立体匹配算法。因为设备厂商是将立体匹配算法烧录在设备的芯片上，所以用户没法根据具体的使用场景去优化算法和调整算法参数，除非厂商支持用户定制。但是定制又存在定制费用高，时间周期长的问题。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像处理方法和相应的一种图像处理装置。
[0005]为了解决上述问题，本专利技术实施例公开了一种图像处理方法，包括：
[0006]获取原始深度图和灰度图；
[0007]依据所述原始深度图生成拟合平面；
[0008]依据所述原始深度图和所述灰度图，生成融合图像；
[0009]基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域；
[0010]对所述前景区域进行分辨率优化，得到目标前景；
[0011]基于所述目标前景和所述拟合平面，生成目标深度图。
[0012]可选地，所述依据所述原始深度图和所述灰度图，生成融合图像的步骤包括：
[0013]对所述灰度图进行边缘检测，得到边缘检测结果；所述边缘检测结果包括第一像素值；
[0014]确定所述深度图中与所述第一像素值的位置对应的第二像素值；
[0015]按照预设线性关系对第一像素值和第二像素值进行融合，得到第三像素值；
[0016]针对所述第三像素值，生成融合图像。
[0017]可选地，所述基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域的步骤，包括：
[0018]针对所述融合图像生成掩模图像；所述掩模图像由第四像素值组成；
[0019]确定与所述第四像素值对应的边界长度；
[0020]确定所述原始深度图中除所述拟合平面的位置以外的至少一个待区分区域；
[0021]确定所述待区分区域中像素点的深度值；
[0022]依据所述深度值与所述边界长度得到所述待区分区域的前景参考值；
[0023]获取针对所述原始深度图的边缘数量；
[0024]基于所述前景参考值和所述边缘数量，确定前景区域。
[0025]可选地，所述基于所述前景参考值和所述边缘数量，确定前景区域的步骤包括：
[0026]若所述待区分区域的前景参考值不大于第一预设阈值且所述待区分区域对应的边沿数量不小于第一预设数量，则确定所述待区分区域为前景区域；
[0027]若所述待区分区域的前景参考值大于第一预设阈值且所述待区分区域对应的边沿数量小于第一预设数量，则确定所述待区分区域为背景区域。
[0028]可选地，所述对所述前景区域进行分辨率优化，得到目标前景的步骤包括：
[0029]采用预设活动轮廓信息，识别所述前景区域中的目标虚拟对象；
[0030]针对所述目标虚拟对象进行分辨率优化，得到目标前景。
[0031]可选地，所述针对所述目标虚拟对象进行分辨率优化，得到目标前景的步骤，包括：
[0032]获取所述原始深度图中与所述目标虚拟对象匹配的外接子图像；
[0033]获取所述灰度图中与所述外接子图像匹配的边缘掩模；
[0034]针对所述外接子图像进行插值处理，得到已插值图像；
[0035]叠加所述已插值图像和所述边缘掩模，得到叠加图像；
[0036]针对所述叠加图像进行边缘滤波，得到包含连通区域的滤波图像；
[0037]针对所述滤波图像进行深度值修复处理，得到目标子图像；
[0038]基于所述目标子图像，生成目标前景。
[0039]可选地，所述针对所述滤波图像进行深度值修复处理，得到目标子图像的步骤包括：
[0040]针对所述连通区域的边缘两侧进行均值滤波，得到均值图像；
[0041]生成与所述均值图像对应的三维点云数据；
[0042]对所述三维点云数据进行拟合，得到虚拟平面；
[0043]对所述虚拟平面进行反映射，得到深度值渐变图像；
[0044]对所述深度值渐变图像进行下采样处理，生成目标子图像。
[0045]本专利技术实施例还公开了一种图像处理装置，包括：
[0046]图像获取模块，用于获取原始深度图和灰度图；
[0047]拟合平面生成模块，用于依据所述原始深度图生成拟合平面；
[0048]融合模块，用于依据所述原始深度图和所述灰度图，生成融合图像；
[0049]前景区域确定模块，用于基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域；
[0050]目标前景生成模块，用于对所述前景区域进行分辨率优化，得到目标前景；
[0051]目标深度图生成模块，用于基于所述目标前景和所述拟合平面，生成目标深度图。
[0052]本专利技术实施例还公开了一种电子设备，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的图像处理方法的步骤。
[0053]本专利技术实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存
储计算机程序，所述计算机程序被处理器执行时实现如上所述的图像处理方法的步骤。
[0054]本专利技术实施例包括以下优点：
[0055]在获取双目相机输出的灰度图和原始深度图后，依据原始深度图提取出拟合平面，对经过边缘检测处理的灰度图和原始深度图进行融合得到融合图像，基于拟合平面和融合图像检测出原始深度图中的前景区域，对前景区域进行分辨率优化，得到提高清晰度的目标前景，基于目标前景和拟合平面进行叠加，得到对感兴趣的目标前景进行局部的分辨率优化的目标深度图。
附图说明
[0056]图1是本专利技术的一种图像处理方法实施例的步骤流程图；
[0057]图2是本专利技术实施例提供的一种灰度图；
[0058]图3是针对图2的一种结构简图；
[0059]图4是本专利技术提供的一种灰度图的边缘结果示意图；
[0060]图5是本专利技术提供的一种外接矩形字图；
[0061]图6是本专利技术的一种图像处理示例流程图；
[0062]图7是本专利技术的一种图像处理装置实施例的结构框图。
具体实施方式
[0063]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取原始深度图和灰度图；依据所述原始深度图生成拟合平面；依据所述原始深度图和所述灰度图，生成融合图像；基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域；对所述前景区域进行分辨率优化，得到目标前景；基于所述目标前景和所述拟合平面，生成目标深度图。2.根据权利要求1所述的方法，其特征在于，所述依据所述原始深度图和所述灰度图，生成融合图像的步骤包括：对所述灰度图进行边缘检测，得到边缘检测结果；所述边缘检测结果包括第一像素值；确定所述深度图中与所述第一像素值的位置对应的第二像素值；按照预设线性关系对第一像素值和第二像素值进行融合，得到第三像素值；针对所述第三像素值，生成融合图像。3.根据权利要去2所述的方法，其特征在于，所述基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域的步骤，包括：针对所述融合图像生成掩模图像；所述掩模图像由第四像素值组成；确定与所述第四像素值对应的边界长度；确定所述原始深度图中除所述拟合平面的位置以外的至少一个待区分区域；确定所述待区分区域中像素点的深度值；依据所述深度值与所述边界长度得到所述待区分区域的前景参考值；获取针对所述原始深度图的边缘数量；基于所述前景参考值和所述边缘数量，确定前景区域。4.根据权利要求3所述的方法，其特征在于，所述基于所述前景参考值和所述边缘数量，确定前景区域的步骤包括：若所述待区分区域的前景参考值不大于第一预设阈值且所述待区分区域对应的边沿数量不小于第一预设数量，则确定所述待区分区域为前景区域；若所述待区分区域的前景参考值大于第一预设阈值且所述待区分区域对应的边沿数量小于第一预设数量，则确定所述待区分区域为背景区域。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述对所述前景区域进行分辨率优化，得到目标前景的步骤包括：采用预设活动轮廓信息，识别所述前景区域中的目标虚拟对象；针对所述目标虚拟...

【专利技术属性】
技术研发人员：赵德力，彭登，陶永康，傅志刚，曾阳露，
申请(专利权)人：广东汇天航空航天科技有限公司，
类型：发明
国别省市：