图像处理方法及相关装置制造方法及图纸

本申请提供一种图像处理方法及相关装置，方法包括：获取第一图像中的第一检测框和第二图像中的第二检测框，以及第一检测框中第一被拍摄对象的第一关键点和第二检测框中第二被拍摄对象的第二关键点；根据第一检测框、第二检测框、第一关键点以及第二关键点，确定第一检测框与第二检测框的匹配情况，匹配情况用于指示被拍摄对象在前后两帧图像中被拍摄的状态；根据匹配情况确定第一图像的姿态估计结果，姿态估计结果包括检测框和检测框包含的关键点。本申请实施例提高设备进行姿态估计的效率和准确度。率和准确度。率和准确度。

【技术实现步骤摘要】
图像处理方法及相关装置


[0001]本申请属于图像处理
，具体涉及一种图像处理方法及相关装置。

技术介绍

[0002]目前，由于实时框检测的精度都不会特别高，所以在预览帧中，每帧输出的框的位置都会有随机抖动，难以得到稳定的输出，而如果想要做框或者姿态点的平滑处理，就得找到前后帧中框对应的匹配关系，也就是多目标跟踪。另外，由于实时检测精度的问题，会经常发生在某一帧中某些框丢失，所以对于被跟踪拍摄的每个人，无法稳定的获取框的信息。

技术实现思路

[0003]本申请提供一种图像处理方法及相关装置，以期基于已有的关键点特征结合检测框的IOU，计算最大匹配框，无需耗费额外的时间提取特征进行匹配，提高设备进行姿态估计的效率和准确度。
[0004]第一方面，本申请提供一种图像处理方法，包括：
[0005]获取第一图像中的第一检测框和第二图像中的第二检测框，以及所述第一检测框中第一被拍摄对象的第一关键点和所述第二检测框中第二被拍摄对象的第二关键点，其中，所述第二图像为所述第一图像的前一帧图像，检测框用于指示对应的被拍摄对象在图像中的区域，关键点包括用于描述所述被拍摄对象的关键位置的像素点；
[0006]根据所述第一检测框、所述第二检测框、所述第一关键点以及所述第二关键点，确定所述第一检测框与所述第二检测框的匹配情况，所述匹配情况用于指示被拍摄对象在前后两帧图像中被拍摄的状态；
[0007]根据所述匹配情况确定所述第一图像的姿态估计结果，所述姿态估计结果包括检测框和所述检测框包含的关键点。
[0008]可以看出，本申请实施例中，设备能够根据第一图像中的第一检测框和第二图像中的第二检测框、第一检测框的第一关键点和第二检测框的第二关键点确定第一检测框与第二检测框的匹配情况，由于检测框和关键点都是姿态估计任务中的数据，从而设备无需耗费额外的时间提取其他图像特征进行匹配处理，有利于提高设备进行姿态估计的效率和准确度。
[0009]第二方面，本申请提供一种图像处理装置，包括：
[0010]获取单元，用于获取第一图像中的第一检测框和第二图像中的第二检测框，以及所述第一检测框中第一被拍摄对象的第一关键点和所述第二检测框中第二被拍摄对象的第二关键点，其中，所述第二图像为所述第一图像的前一帧图像，检测框用于指示对应的被拍摄对象在图像中的区域，关键点包括用于描述所述被拍摄对象的关键位置的像素点；
[0011]确定单元，用于根据所述第一检测框、所述第二检测框、所述第一关键点以及所述第二关键点，确定所述第一检测框与所述第二检测框的匹配情况，所述匹配情况用于指示被拍摄对象在前后两帧图像中被拍摄的状态；
[0012]所述确定单元，还用于根据所述匹配情况确定所述第一图像的姿态估计结果，所述姿态估计结果包括检测框和所述检测框包含的关键点。
[0013]第三方面，本申请提供一种电子设备，一个或多个处理器；
[0014]一个或多个存储器，用于存储程序，
[0015]所述一个或多个存储器和所述程序被配置为，由所述一个或多个处理器控制所述电子设备执行如本申请实施例第一方面任一方法中的步骤的指令。
[0016]第四方面，本申请提供一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
[0017]第五方面，本申请提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
[0018]第六方面，本申请提供一种计算机程序，其中，所述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序可以为一个软件安装包。
附图说明
[0019]图1是本申请实施例提供的一种电子设备100的结构示意图；
[0020]图2a是本申请实施例提供的一种图像处理方法的流程示意图；
[0021]图2b是本申请实施例提供的一种人体关节点的分布示意图；
[0022]图2c是本申请实施例提供的一种针对单个用户的姿态跟踪的示意图；
[0023]图2d是本申请实施例提供的另一种图像处理方法的流程示意图；
[0024]图3是本申请实施例提供的一种图像处理装置的功能单元组成框图；
[0025]图4是本申请实施例提供的另一种图像处理装置的功能单元组成框图。
具体实施方式
[0026]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0027]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0028]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0029]本申请中的“至少一个”指的是一个或多个，多个指的是两个或两个以上。本申请中和/或，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a、b、c中的每一个本身可以是元素，也可以是包含一个或多个元素的集合。
[0030]需要指出的是，本申请实施例中涉及的等于可以与大于连用，适用于大于时所采用的技术方案，也可以与小于连用，适用于与小于时所采用的技术方案，需要说明的是，当等于与大于连用时，不与小于连用；当等于与小于连用时，不与大于连用。本申请实施例中“的(of)”，“相应的(corresponding，relevant)”和“对应的(corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。
[0031]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取第一图像中的第一检测框和第二图像中的第二检测框，以及所述第一检测框中第一被拍摄对象的第一关键点和所述第二检测框中第二被拍摄对象的第二关键点，其中，所述第二图像为所述第一图像的前一帧图像，检测框用于指示对应的被拍摄对象在图像中的区域，关键点包括用于描述所述被拍摄对象的关键位置的像素点；根据所述第一检测框、所述第二检测框、所述第一关键点以及所述第二关键点，确定所述第一检测框与所述第二检测框的匹配情况，所述匹配情况用于指示被拍摄对象在前后两帧图像中被拍摄的状态；根据所述匹配情况确定所述第一图像的姿态估计结果，所述姿态估计结果包括检测框和所述检测框包含的关键点。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一检测框、所述第二检测框、所述第一关键点以及所述第二关键点，确定所述第一检测框与所述第二检测框的匹配情况，包括：计算至少一个检测框组合中每个检测框组合的两个检测框的交并比IOU以得到所述每个检测框组合的检测框匹配权重，所述至少一个检测框组合是按照如下方式划分所述第一检测框和所述第二检测框而得到的：一个第一检测框和一个第二检测框组成一个检测框组合；计算所述每个检测框组合的至少一个关键点组合中每个关键点组合的两个关键点的欧氏距离，并计算所述至少一个关键点组合的欧氏距离的和以得到所述每个检测框组合的关键点匹配权重，所述至少一个关键点组合是如下方式划分所述每个检测框组合中两个检测框的关键点而得到的：一个第一关键点和一个第二关键点组成一个关键点组合，且所述第二关键点的位置类型与所述一个第一关键点的位置类型一致；根据所述每个检测框组合的所述检测框匹配权重和所述关键点匹配权重确定所述每个检测框组合的参考匹配权重；根据所述至少一个检测框组合的参考匹配权重进行二分图最大权匹配，得到所述第一检测框与所述第二检测框之间的匹配情况。3.根据权利要求2所述的方法，其特征在于，所述匹配情况包括以下至少一种：目标匹配权重大于或等于预设匹配权重的第一检测框组合，所述目标匹配权重为所述第一检测框组合经过所述二分图最大权匹配处理后得到的匹配权重，所述第一检测框组合属于所述至少一个检测框组合；所述目标匹配权重小于所述预设匹配权重的第二检测框组合，所述第二检测框组合属于所述至少一个检测框组合；未匹配到任何第二检测框的第一检测框a1；以及，未与任何第一检测框匹配的第二检测框b1。4.根据权利要求3所述的方法，其特征在于，所述根据所述匹配情况确定所述第一图像的姿态估计结果，包括：针对所述第一检测框组合，将所述第一检测框组合中的第一检测框a2的真实信息添加至与所述第二检测框b2对应的姿态跟踪子集B2中，所述真实信息包括所述第一图像的标识信息、检测框的位置信息以及所述检测框中关键点的位置信息；
针对所述第二检测框组合，为所述第二检测框组合中的第一检测框a3创建对应的姿态跟踪子集A3，并存储所述第二检测框组合中的第一检测框a3的真实信息；针对所述第一检测框a1，为所述第一检测框a1创建对应的姿态跟踪子集A1，并存储所述第一检测框a1的真实信息。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：针对所述第二检测框组合，将所述第二检测框组合中的第二检测框b3所对应的姿态跟踪子集B3的计数标识的数值增加1，并在所述姿态跟踪子集B3中添加所述第二检测框b3的补偿信息，所述补偿信息包括所述第一图像的标识信息、所述检测框b3的位置信息、以及所述检测框b3的关键点的位置信息；判断所述姿态跟踪子集B3的所述计数标识的数值是否大于或等于预设数值；若是，则在所述第一图像的姿态估计结果中删除所述姿态跟踪子集B3；若否，则在所述姿态跟踪子集B3中添加所述...

【专利技术属性】
技术研发人员：潘睿，
申请(专利权)人：杭州逗酷软件科技有限公司，
类型：发明
国别省市：