图像识别方法、装置、存储介质以及电子设备制造方法及图纸

本公开涉及一种图像识别方法、装置、存储介质以及电子设备，涉及图像技术领域，该方法将图像对输入特征提取模型，获得目标融合特征向量，并基于该目标融合特征向量确定图像识别结果。其中，特征提取模型中的第一特征提取网络从第一图像中提取到不同维度的第一图像特征，特征提取模型中的第二特征提取网络从第二图像中提取到不同维度的第二图像特征，通过融合层从第一图像特征以及第二图像特征中捕捉多模态特征之间的互补性，并且将不同层级的融合特征向量进行整合，使得生成的目标融合特征向量能够充分表达第一图像以及第二图像具有的图像语义特征。以使得获得精细的图像识别结果，从而促进鲁棒的场景表示。从而促进鲁棒的场景表示。从而促进鲁棒的场景表示。

【技术实现步骤摘要】
图像识别方法、装置、存储介质以及电子设备


[0001]本公开涉及图像
，具体地，涉及一种图像识别方法、装置、存储介质以及电子设备。

技术介绍

[0002]图像语义分割作为一种新兴的图像处理技术，其目的在于根据图像内容识别出图像中每一像素点的语义类别。作为图像和视频理解的基础，图像语义分割被广泛应用于自动驾驶、医疗辅助以及机器人环境感知等领域。
[0003]在相关技术中，为了提高图像语义分割的准确率，往往会使用多模态融合方法，但是相关的多模态融合方法未能有效挖掘多模态图像的上下文信息，导致图像语义分割模型的准确率较低。

技术实现思路

[0004]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]第一方面，本公开提供一种图像识别方法，包括：
[0006]获取图像对，其中，所述图像对包括采用不同拍摄方式对同一场景进行拍摄获得的第一图像和第二图像；
[0007]将所述图像对输入训练好的特征提取模型，获得所述图像对的目标融合特征向量；
[0008]基于所述目标融合特征向量，获得图像识别结果；
[0009]其中，所述特征提取模型包括用于提取所述第一图像的第一图像特征的第一特征提取网络以及用于提取所述第二图像的第二图像特征的第二特征提取网络，且所述第一特征提取网络以及所述第二特征提取网络具有相同数量级的依次连接的特征提取层，所述第一特征提取网络以及所述第二特征提取网络中相同层级的所述特征提取层与同一个融合层连接；
[0010]所述融合层用于根据与该融合层连接的两个所述特征提取层分别提取到的所述第一图像特征、所述第二图像特征以及该特征提取层的前一特征提取层对应的融合层输出的特征向量，获得对应的融合特征向量；
[0011]所述目标融合特征向量为任一所述融合层输出的融合特征向量。
[0012]第二方面，本公开提供一种图像识别装置，包括：
[0013]获取模块，配置为获取图像对，其中，所述图像对包括采用不同拍摄方式对同一场景进行拍摄获得的第一图像和第二图像；
[0014]提取模块，配置为将所述图像对输入训练好的特征提取模型，获得所述图像对的目标融合特征向量；
[0015]识别模块，配置为基于所述目标融合特征向量，获得图像识别结果；
[0016]其中，所述特征提取模型包括用于提取所述第一图像的第一图像特征的第一特征提取网络以及用于提取所述第二图像的第二图像特征的第二特征提取网络，且所述第一特征提取网络以及所述第二特征提取网络具有相同数量级的依次连接的特征提取层，所述第一特征提取网络以及所述第二特征提取网络中相同层级的所述特征提取层与同一个融合层连接；
[0017]所述融合层用于根据与该融合层连接的两个所述特征提取层分别提取到的所述第一图像特征、所述第二图像特征以及该特征提取层的前一特征提取层对应的融合层输出的特征向量，获得对应的融合特征向量；
[0018]所述目标融合特征向量为任一所述融合层输出的融合特征向量。
[0019]第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述的方法的步骤。
[0020]第四方面，本公开提供一种电子设备，包括：
[0021]存储装置，其上存储有计算机程序；
[0022]处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面所述的方法的步骤。
[0023]基于上述技术方案，通过特征提取模型中的第一特征提取网络可以从第一图像中提取到不同维度的第一图像特征，通过特征提取模型中的第二特征提取网络可以从第二图像中提取到不同维度的第二图像特征，通过融合层，可以将从第一图像特征以及第二图像特征中捕捉多模态特征之间的互补性，并且将不同层级的融合特征向量进行整合，使得最终生成的目标融合特征向量能够充分表达第一图像以及第二图像具有的图像语义特征。基于该目标融合特征向量，可以实现鲁棒的场景表示，从而获得精细的图像识别结果。
[0024]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0025]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0026]图1是根据一些实施例示出的一种图像识别方法的流程图。
[0027]图2是根据一些实施例示出的特征提取模型的结构示意图。
[0028]图3是根据一些实施例示出的第i层融合层的结构示意图。
[0029]图4是根据一些实施例示出的级联交互模块的示意图。
[0030]图5是根据一些实施例示出的获取特征提取模型的流程图。
[0031]图6是根据一些实施例示出的一种图像识别装置的模块连接示意图。
[0032]图7是根据一些实施例示出的一种电子设备的结构示意图。
具体实施方式
[0033]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这
里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0034]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0035]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0036]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0037]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0038]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0039]图1是根据一些实施例示出的一种图像识别方法的流程图。如图1所示，本公开实施例提供一种图像识别方法，该方法可以通过电子设备执行，具体可以是通过一种图像识别装置来执行，该装置可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别方法，其特征在于，包括：获取图像对，其中，所述图像对包括采用不同拍摄方式对同一场景进行拍摄获得的第一图像和第二图像；将所述图像对输入训练好的特征提取模型，获得所述图像对的目标融合特征向量；基于所述目标融合特征向量，获得图像识别结果；其中，所述特征提取模型包括用于提取所述第一图像的第一图像特征的第一特征提取网络以及用于提取所述第二图像的第二图像特征的第二特征提取网络，且所述第一特征提取网络以及所述第二特征提取网络具有相同数量级的依次连接的特征提取层，所述第一特征提取网络以及所述第二特征提取网络中相同层级的所述特征提取层与同一个融合层连接；所述融合层用于根据与该融合层连接的两个所述特征提取层分别提取到的所述第一图像特征、所述第二图像特征以及该特征提取层的前一特征提取层对应的融合层输出的特征向量，获得对应的融合特征向量；所述目标融合特征向量为任一所述融合层输出的融合特征向量。2.根据权利要求1所述的方法，其特征在于，所述融合层包括：级联交互模块，用于根据与该融合层连接的两个所述特征提取层提取到的所述第一图像特征以及所述第二图像特征，获得初始融合特征；第一卷积模块，用于将所述第一图像特征与所述初始融合特征进行融合，获得第一融合特征；第二卷积模块，用于将所述第二图像特征与所述初始融合特征进行融合，获得第二融合特征；融合模块，用于根据所述第一融合特征、所述第二融合特征以及该特征提取层的前一特征提取层对应的融合层输出的特征向量，获得对应的融合特征向量。3.根据权利要求2所述的方法，其特征在于，所述第一图像为RGB图像，所述级联交互模块具体用于：以所述第一图像特征为基准，融合所述第二图像特征与所述第一图像特征，获得所述初始融合特征。4.根据权利要求3所述的方法，其特征在于，所述级联交互模块包括：第一处理层，用于对所述第一图像特征以及所述第二图像特征进行逐元素求和运算，获得第一特征向量；第二处理层，用于对所述第一图像特征以及所述第一特征向量进行卷积处理，获得第一卷积特征向量，并对所述第一卷积特征向量以及所述第二图像特征进行对位元素相乘运算，获得第二特征向量；第三处理层，用于对所述第一图像特征以及所述第二特征向量进行卷积处理，获得第二卷积特征向量，并对所述第一卷积特征向量以及所述第二图像特征进行特征串联运算，获得第三特征向量；拼接层，用于融合所述第一特征向量、所述第二特征向量、所述第三特征向量以及所述第一图像特征，获得所述初始融合特征。5.根据权利要求2所述的方法，其特征在于，所述融合模块具体用于：
对该特征提取层的前一特征提取层对应的融合层输出的特征向量进行双线性插值操作，获得插值结果；对所述...

【专利技术属性】
技术研发人员：边成，张志诚，李永会，
申请(专利权)人：抖音视界北京有限公司，
类型：发明
国别省市：