一种双目图像处理方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种双目图像处理方法、装置、设备和存储介质，该方法包括：获取待处理的双目图像；分别对双目图像中的左图像和右图像进行特征提取，确定左图像对应的第一左特征图和右图像对应的第一右特征图；将第一左特征图和第一右特征图输入至预设注意力网络模型中，基于第一左特征图与第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定左权重矩阵和右权重矩阵，并基于左权重矩阵和右权重矩阵分别对第一左特征图和第一右特征图进行注意力处理；根据预设注意力网络模型的输出，获得注意力处理后的左右特征图，从而可以抑制包含视差边缘的特征，提高视差估计的准确性。准确性。准确性。

【技术实现步骤摘要】
一种双目图像处理方法、装置、设备和存储介质


[0001]本专利技术实施例涉及图像处理技术，尤其涉及一种双目图像处理方法、装置、设备和存储介质。

技术介绍

[0002]随着计算机视觉的快速发展，可以通过立体匹配方式估计视差图，重构场景的三维几何信息。
[0003]目前，可以利用深度卷积网络模型直接预测场景的稠密视差图，从而基于深度学习的立体匹配方式可以实现更加精确的视差估计。
[0004]然而，在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：
[0005]当采集的双目图像中包含视差边缘区域，比如建筑物边缘、电线杆边缘、物体外轮廓等时，对双目图像进行特征提取，获得的包含视差边缘的特征往往会对后续的代价聚合体的计算引入嘈杂甚至错误的信息，最终降低视差估计的准确性。

技术实现思路

[0006]本专利技术实施例提供了一种双目图像处理方法、装置、设备和存储介质，以抑制包含视差边缘的特征，提高视差估计的准确性。
[0007]第一方面，本专利技术实施例提供了一种双目图像处理方法，包括：
[0008]获取待处理的双目图像；
[0009]分别对所述双目图像中的左图像和右图像进行特征提取，确定所述左图像对应的第一左特征图和所述右图像对应的第一右特征图；
[0010]将所述第一左特征图和所述第一右特征图输入至预设注意力网络模型中进行特征注意力处理，所述预设注意力网络模型用于：基于所述第一左特征图与所述第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定所述第一左特征图对应的左权重矩阵和所述第一右特征图对应的右权重矩阵，并基于所述左权重矩阵和所述右权重矩阵分别对所述第一左特征图和所述第一右特征图进行注意力处理；
[0011]根据所述预设注意力网络模型的输出，获得注意力处理后的左右特征图。
[0012]第二方面，本专利技术实施例还提供了一种双目图像处理装置，包括：
[0013]双目图像获取模块，用于获取待处理的双目图像；
[0014]特征提取模块，用于分别对所述双目图像中的左图像和右图像进行特征提取，确定所述左图像对应的第一左特征图和所述右图像对应的第一右特征图；
[0015]特征图输入模块，用于将所述第一左特征图和所述第一右特征图输入至预设注意力网络模型中进行特征注意力处理，所述预设注意力网络模型用于：基于所述第一左特征图与所述第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定所述第一左特征图对应的左权重矩阵和所述第一右特
征图对应的右权重矩阵，并基于所述左权重矩阵和所述右权重矩阵分别对所述第一左特征图和所述第一右特征图进行注意力处理；
[0016]特征图输出模块，用于根据所述预设注意力网络模型的输出，获得注意力处理后的左右特征图。
[0017]第三方面，本专利技术实施例还提供了一种电子设备，所述电子设备包括：
[0018]一个或多个处理器；
[0019]存储器，用于存储一个或多个程序；
[0020]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任意实施例所提供的双目图像处理方法。
[0021]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例所提供的双目图像处理方法。
[0022]上述专利技术中的实施例具有如下优点或有益效果：
[0023]通过分别对待处理的双目图像中的左图像和右图像进行特征提取，确定左图像对应的第一左特征图和右图像对应的第一右特征图，此时获得的第一左特征图和第一右特征图中可能包含视差边缘的特征。通过将第一左特征图和第一右特征图输入至预设注意力网络模型中进行特征注意力处理，预设注意力网络模型可以基于第一左特征图与第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定出第一左特征图对应的左权重矩阵和第一右特征图对应的右权重矩阵，并基于左权重矩阵和右权重矩阵分别对第一左特征图和所述第一右特征图进行注意力处理，从而可以降低对包含视差边缘的特征的注意力，提高未包含视差边缘的特征的注意力，进而抑制了第一左特征图和第一右特征图中包含视差边缘的特征，避免包含视差边缘的特征对视差估计造成影响，提高了视差估计的准确性。
附图说明
[0024]图1是本专利技术实施例提供的一种双目图像处理方法的流程图；
[0025]图2是本专利技术实施例提供的一种视差估计过程的示例；
[0026]图3是本专利技术实施例提供的一种双目图像处理方法的流程图；
[0027]图4是本专利技术实施例提供的一种预设注意力网络模型的示例；
[0028]图5是本专利技术实施例提供的另一种预设注意力网络模型的示例；
[0029]图6是本专利技术实施例提供的一种双目图像处理方法的流程图；
[0030]图7是本专利技术实施例提供的一种预设注意力网络模型的示例；
[0031]图8是本专利技术实施例提供的一种双目图像处理装置的结构示意图；
[0032]图9是本专利技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0033]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0034]图1为本专利技术实施例提供的一种双目图像处理方法的流程图，本实施例可适用于
对双目图像进行特征注意力处理的情况。该方法可以由双目图像处理装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于电子设备中。如图1所示，该方法具体包括以下步骤：
[0035]S110、获取待处理的双目图像。
[0036]其中，双目图像可以是利用左摄像头和右双摄像头组成的双目相机所拍摄的两张场景图像，即左图像和右图像。例如，双目图像可以是指自动驾驶场景中拍摄的两张图像。
[0037]具体地，本实施例可以获取用于立体匹配的双目图像。
[0038]S120、分别对双目图像中的左图像和右图像进行特征提取，确定左图像对应的第一左特征图和右图像对应的第一右特征图。
[0039]具体地，可以利用现有的特征提取网络模型分别对双目图像中的左图像和右图像进行特征提取。本实施例中的特征提取网络模型可以是指用于提取特征的二维卷积神经网络模型。例如，可以将双目图像中的左图像和右图像先后输入至特征提取网络模型中进行特征提取，以便基于特征提取网络模型的输出，先后获得第一左特征图和第一右特征图；也可以将双目图像中的左图像和右图像同时输入至两个权重共享的特征提取网络模型中进行特征提取，以便基于两个特征提取网络模型的输出，同时获得第一左特征图和第一右特征图，提高特征图获取效率。
[0040]需要说明的是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目图像处理方法，其特征在于，包括：获取待处理的双目图像；分别对所述双目图像中的左图像和右图像进行特征提取，确定所述左图像对应的第一左特征图和所述右图像对应的第一右特征图；将所述第一左特征图和所述第一右特征图输入至预设注意力网络模型中进行特征注意力处理，所述预设注意力网络模型用于：基于所述第一左特征图与所述第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定所述第一左特征图对应的左权重矩阵和所述第一右特征图对应的右权重矩阵，并基于所述左权重矩阵和所述右权重矩阵分别对所述第一左特征图和所述第一右特征图进行注意力处理；根据所述预设注意力网络模型的输出，获得注意力处理后的左右特征图。2.根据权利要求1所述的方法，其特征在于，所述预设注意力网络模型包括：特征融合子模型、权重估计子模型和注意力处理子模型；所述将所述第一左特征图和所述第一右特征图输入至预设注意力网络模型中进行特征注意力处理，包括：将所述第一左特征图输入至所述特征融合子模型中，对所述第一左特征图中的每个通道的特征信息进行融合，确定融合后的第二左特征图；将所述第一右特征图输入至所述特征融合子模型中，对所述第一右特征图中的每个通道的特征信息进行融合，确定融合后的第二右特征图；将所述第二左特征图和所述第二右特征图输入至所述权重估计子模型中，基于所述第一左特征图与所述第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定所述第二左特征图对应的左权重矩阵和所述第二右特征图对应的右权重矩阵；将所述左权重矩阵和所述第一左特征图输入至所述注意力处理子模型中进行注意力处理，确定第三左特征图，并将所述第三左特征图进行输出；将所述右权重矩阵和所述第一右特征图输入至所述注意力处理子模型中进行注意力处理，确定第三右特征图，并将所述第三右特征图进行输出。3.根据权利要求2所述的方法，其特征在于，所述特征融合子模型包括：第一卷积层和第二卷积层；所述将所述第一左特征图输入至所述特征融合子模型中，对所述第一左特征图中的每个通道的特征信息进行融合，确定融合后的第二左特征图，包括：将所述第一左特征图输入至所述第一卷积层进行卷积操作，确定与所述第一左特征图尺寸相同的第四左特征图；将所述第四左特征图输入至第二卷积层进行卷积操作，确定融合后的第二左特征图。4.根据权利要求3所述的方法，其特征在于，所述将所述左权重矩阵和所述第一左特征图输入至所述注意力处理子模型中进行注意力处理，确定第三左特征图，包括：将所述左权重矩阵和所述第四左特征图输入至所述注意力处理子模型中进行注意力处理，确定第三左特征图；所述将所述右权重矩阵和所述第一右特征图输入至所述注意力处理子模型中进行注
意力处理，确定第三右特征图，包括：将所述右权重矩阵和所述第四右特征图输入至所述注意力处理子模型中进行注意力处理，确定第三右特征图。5.根据权利要求2所述的方法，其特征在于，所述权重估计子模型包括：左权重估计单元和右权重估计单元；所述将所述第二左特征图和所述第二右特征图输入至所述权重估计子模型中，基于所述第一左特征图和所述第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定所述第二左特征图对应的左权重矩阵和所述第二右特征图对应的右权重矩阵，包括：将所述第二左特征图和所述第二右特征图输入至所述左权重估计单元中，针对所述第二左特征图中的每个左特征点，在所述第二右特征图上搜索与当前左特征点位置相对应的目标右特征点，并基于当前左特征点与所述目标右特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定当前左特征点对应...

【专利技术属性】
技术研发人员：徐鑫，
申请(专利权)人：京东鲲鹏江苏科技有限公司，
类型：发明
国别省市：