图像处理方法及装置制造方法及图纸

本公开实施例提供一种图像处理方法及装置，根据当前图像帧中目标对象的关键点的位置，确定第一区域，将第一区域放大预设倍数，得到第二区域，根据第二区域，确定下一图像帧中关键点的预测位置，根据当前图像帧中的关键点的位置和下一图像帧中的关键点的预测位置，确定下一图像帧中关键点的准确位置。该过程中，通过根据当前图像帧的关键点，跟踪下一图像帧中的关键点，使得下一图像帧的关键的位置依赖于当前图像帧的关键点，而非对每个图像帧单独进行处理，进而使得能够准确确定出下一图像帧的关键点的准确位置，因此可以实现减少遮挡区域的晃动、提高遮挡区域的稳定性的目的。

Image processing method and device

【技术实现步骤摘要】
图像处理方法及装置
本公开实施例涉及视频处理
，尤其涉及一种图像处理方法及装置。
技术介绍
随着技术的不断发展，越来越多的用户将生活中的趣事、见闻等拍摄视频，并将视频上传到网络上，供其他用户点击和观看。通常情况下，用户将拍摄的视频上传到网络上时，希望将视频中一些比较隐私的内容，如标志(logo)、车辆的车牌等进行遮挡以保护隐私。以遮挡车牌为例，用户上传视频之前，基于图像分割的方法等对视频中车辆的车牌进行遮挡。该方法中，从视频的每帧图像中分割出车辆所在的区域，再从车辆所在的区域中提取出车牌，进而使用贴纸等对车牌的四个关键点形成的矩形框进行覆盖，从而达到遮挡车牌的目的。之后，用户将车牌被遮挡的视频上传至网络。然而，实际中，视频中的车辆处于运动状态，上述基于图像分隔的方法遮挡车牌的过程中，由于需要对每一帧图像中的车牌进行图像分割，使得处理后的视频中遮挡区域晃动明显，稳定性差。
技术实现思路
本公开实施例提供一种图像处理方法及装置，实现减少遮挡区域的晃动、提高遮挡区域的稳定性的目的。第一方面，本公开实施例提供一种图像处理方法，包括：基于视频中的当前图像帧中目标对象的关键点的位置，确定第一区域，所述第一区域是包含所述当前图像帧中目标对象的关键点的区域；将所述第一区域扩展预设倍数，以得到包含所述第一区域的第二区域；在所述视频中的下一图像帧的所述第二区域内，确定所述下一图像帧中所述关键点的预测位置，所述下一图像帧是所述视频的图像帧序列中与所述当前图像帧相邻的图像帧；基于所述当前图像帧中的关键点的位置和所述下一图像帧中的关键点的预测位置，确定所述下一图像帧中所述关键点的准确位置；基于所述下一图像帧中关键点的准确位置，遮挡所述下一图像帧中的目标对象。第二方面，本公开实施例提供一种图像处理装置，包括：第一确定模块，用于基于视频中的当前图像帧中目标对象的关键点的位置，确定第一区域，所述第一区域是包含所述当前图像帧中目标对象的关键点的区域；放大模块，用于将所述第一区域扩展预设倍数，以得到包含所述第一区域的第二区域；预测模块，用于在所述视频中的下一图像帧的所述第二区域内，确定所述下一图像帧中所述关键点的预测位置，所述下一图像帧是所述视频的图像帧序列中与所述当前图像帧相邻的图像帧；第二确定模块，用于基于所述当前图像帧中的关键点的位置和所述下一图像帧中的关键点的预测位置，确定所述下一图像帧中所述关键点的准确位置；处理模块，用于基于所述下一图像帧中关键点的准确位置，遮挡所述下一图像帧中的目标对象。第三方面，本专利技术实施例提供一种电子设备，处理器以及存储器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序在被所述处理器执行时使得所述电子设备实现如上第一方面或第一方面的各种可行的实现方式所述的方法。第四方面，本专利技术实施例提供一种存储介质，所述存储介质中存储有指令，所述指令在电子设备上运行时，使得所述电子设备执行如上第一方面或第一方面的各种可行的实现方式所述的方法。第五方面，本专利技术实施例提供一种计算机程序产品，所述计算机程序产品在电子设备上运行时，使得电子设备执行如上第一方面或第一方面的各种可行的实现方式所述的方法。本公开实施例提供的图像处理方法及装置，根据当前图像帧中目标对象的关键点的位置，确定第一区域，将第一区域放大预设倍数，得到第二区域，根据第二区域，确定下一图像帧中关键点的预测位置，根据当前图像帧中的关键点的位置和下一图像帧中的关键点的预测位置，确定下一图像帧中关键点的准确位置，当前图像帧和下一图像帧是图像帧序列中相邻的两个图像帧，图像帧序列是对视频进行分帧处理得到，当前图像帧中的关键点与下一图像帧中的关键点是一一对应的。该过程中，通过根据当前图像帧的关键点，跟踪下一图像帧中的关键点，使得下一图像帧的关键的位置依赖于当前图像帧的关键点，而非对每个图像帧单独进行处理，进而使得能够准确确定出下一图像帧的关键点的准确位置，因此可以实现减少遮挡区域的晃动、提高遮挡区域的稳定性的目的。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本公开实施例提供的图像处理方法的运行环境示意图；图2是本公开实施例提供的一种图像处理方法的流程图；图3是本公开实施例提供的另一种图像处理方法的流程图；图4是本公开实施例提供的图像处理方法中当前图像帧和下一图像帧的示意图；图5为本公开实施例提供的一种图像处理装置的结构示意图；图6为本公开实施例提供的另一种图像处理装置的结构示意图。具体实施方式为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。将视频上传到网络之前，用户希望某些隐私，如车牌号等被遮挡。基于图像分割的方法中，针对视频的每一图像帧，从该图像帧中分割出车辆所在的区域，再从车辆所在的区域中提取出车牌的位置，进而使用贴纸等对车牌位置进行覆盖，以达到遮挡车牌的目的。然而，实际中，视频中的车辆处于运动状态，上述基于图像分隔的方法遮挡车牌的过程中，由于对每一帧图像中的车牌进行图像分割，使得处理后的视频中遮挡区域晃动明显，稳定性差。有鉴于此，本公开实施例提供一种图像处理方法及装置，通过根据当前图像帧的关键点，跟踪下一图像帧中的关键点，得到目标对象的关键点在下一图像帧中的准确位置，从而根据目标对象的关键点的准确位置确定出目标对象所在的区域，并对该区域进行遮挡，实现减少遮挡区域的晃动、提高遮挡区域的稳定性的目的。图1是本公开实施例提供的图像处理方法的运行环境示意图。请参照图1，电子设备10与服务器20建立网络连接，电子设备10具有视频拍摄能力。用户利用电子设备10拍摄视频，将该视频上传到服务器20之前，通过关键点跟踪，实现对视频中的目标对象的遮挡；或者，用户利用电子设备10拍摄视频，将该视频上传到服务器20，由服务器20对利用本公开实施例所述的图像处理方法，对视频中的目标对象进行遮挡后，再将视频发布，供其他用户点击和观看。电子设备10例如可以是用户的电脑、笔记本、手机等，本公开实施例并不限制。服务器20例如可以是各个视频分享平台的服务器20。下面，在上述图1的基础上，对本公开实施例所述的图像处理方法进行详细说明。示例性的，请参见图2。图2是本公开实施例提供的一种图像处理方法的流程图。本实施例从电子设备交互的角度，对本公开实施例所述的图像处理方法进行详细说明，本实施例包括：在框101，基于视频中的当前图像帧中目标对象的关键点的位置，确定第一区域，所述第一区域是包含所述当前图像帧中目标对象的关键点的区域。在一些实施例中，第一区域可以是包含当前图像帧中目标对象的所有关键点的最小区域。示例性的，一段视频可以通过分帧处理等，得到一个图像帧序列，该图像帧序列中的相邻的两个图像帧中，在前的本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：基于视频中的当前图像帧中目标对象的关键点的位置，确定第一区域，所述第一区域是包含所述当前图像帧中目标对象的关键点的区域；将所述第一区域扩展预设倍数，以得到包含所述第一区域的第二区域；在所述视频中的下一图像帧的所述第二区域内，确定所述下一图像帧中所述关键点的预测位置，所述下一图像帧是所述视频的图像帧序列中与所述当前图像帧相邻的图像帧；基于所述当前图像帧中的关键点的位置和所述下一图像帧中的关键点的预测位置，确定所述下一图像帧中所述关键点的准确位置；基于所述下一图像帧中关键点的准确位置，遮挡所述下一图像帧中的目标对象。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：基于视频中的当前图像帧中目标对象的关键点的位置，确定第一区域，所述第一区域是包含所述当前图像帧中目标对象的关键点的区域；将所述第一区域扩展预设倍数，以得到包含所述第一区域的第二区域；在所述视频中的下一图像帧的所述第二区域内，确定所述下一图像帧中所述关键点的预测位置，所述下一图像帧是所述视频的图像帧序列中与所述当前图像帧相邻的图像帧；基于所述当前图像帧中的关键点的位置和所述下一图像帧中的关键点的预测位置，确定所述下一图像帧中所述关键点的准确位置；基于所述下一图像帧中关键点的准确位置，遮挡所述下一图像帧中的目标对象。2.根据权利要求1所述的方法，其特征在于，所述基于所述当前图像帧中的关键点的位置和所述下一图像帧中的关键点的预测位置，确定所述下一图像帧中所述关键点的准确位置，包括：确定所述当前图像帧中的关键点所构成的第一图形的第一面积；确定所述下一图像帧中关键点的预测位置构成的第二图形的第二面积；根据所述第一图形的第一面积、所述第二图形的第二面积和第三图形的第三面积，确定第一比值，所述第三图形是所述第一图形和所述第二图形的交叠区域；根据所述第一比值，确定第一权值；根据所述第一权值确定第二权值；基于所述第一权值、所述第二权值、所述当前图像帧中所述关键点的坐标和所述下一图像帧中所述关键点的坐标，确定所述下一帧中所述关键点的准确位置。3.根据权利要求1或2所述的方法，其特征在于，所述基于视频中的当前图像帧中目标对象的关键点的位置，确定第一区域之前，还包括：从所述当前图像帧中检测出目标载体，所述目标载体上承载所述目标对象；确定所述目标载体的方向是否为使所述目标对象在所述当前...

【专利技术属性】
技术研发人员：王旭，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11