【技术实现步骤摘要】
本申请涉及目标检测，特别是涉及一种跨模态的目标检测方法、训练方法及相关设备。
技术介绍
1、目标检测技术作为计算机视觉领域非常重要的任务之一，随着深度学习方法的快速发展，取得了快速的发展。
2、目前，可以采用跨模态的目标检测技术应用于目标检测任务。跨模态的目标检测任务主要是将多个不同模态信息联合起来，以进行目标检测任务。然而，将多个不同模态信息联合可能会影响任务的准确性，从而导致目标检测的准确度不高。
技术实现思路
1、本申请主要解决的技术问题是提供一种跨模态的目标检测方法、训练方法及相关设备，能够提高目标检测的准确度。
2、本申请第一方面提供了一种跨模态的目标检测方法，该方法包括：获取待检测图像和描述文本；分别对待检测图像和描述文本进行特征提取，得到图像特征和文本特征；利用匹配分支对图像特征和文本特征进行匹配处理，得到目标的类别；以及，利用定位分支对图像特征进行定位处理，得到目标的定位图。
3、本申请第二方面提供了一种目标检测模型的训练方法，目标检测模型至少包含匹配分支和定位分支，该方法包括：获取待检测图像样本和描述文本样本；分别对待检测图像样本和描述文本样本进行特征提取，得到图像特征和文本特征；利用匹配分支对图像特征和文本特征进行匹配处理，得到目标的类别，基于目标的类别，得到对齐损失值；以及，利用定位分支对图像特征进行定位处理，得到目标的定位图，基于目标的定位图，得到定位损失值；综合对齐损失值和定位损失值，对目标检测模型进行训练，得到训练后的
4、本申请第三方面提供了一种计算机设备，该计算机设备包括相互耦接的存储器和处理器，存储器中存储有程序数据，处理器用于执行程序数据以实现上述跨模态的目标检测方法、目标检测模型的训练方法的任一步骤。
5、本申请第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有能够被处理器运行的程序数据，程序数据用于实现上述跨模态的目标检测方法、目标检测模型的训练方法的任一步骤。
6、上述方案，通过获取待检测图像和描述文本，分别对待检测图像和描述文本进行特征提取，得到图像特征和文本特征。然后，显式地将匹配分支和定位分支进行分离，对于需要强语义特征的匹配分支，利用匹配分支对图像特征和文本特征进行匹配处理，得到目标的类别，匹配分支可以充分感知文本和图像的语义信息，在该匹配分支的特征中加入了大量的语义信息，有利于提高匹配任务的精确性；而定位分支不感知文本语义特征，利用定位分支对图像特征进行定位处理，得到目标的定位图，可以提高定位任务的准确度，整体上能够提高目标检测的准确度。
7、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
本文档来自技高网...【技术保护点】
1.一种跨模态的目标检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用定位分支对所述图像特征进行定位处理，得到目标的定位图，包括：
3.根据权利要求2所述的方法，其特征在于，所述利用所述第一定位图对所述过渡特征进行特征分离，得到分离特征，包括：
4.根据权利要求1所述的方法，其特征在于，所述利用匹配分支对所述图像特征和所述文本特征进行匹配处理，得到目标的类别，包括：
5.一种目标检测模型的训练方法，其特征在于，目标检测模型至少包含匹配分支和定位分支，所述训练方法包括：
6.根据权利要求5所述的方法，其特征在于，所述利用定位分支对所述图像特征进行定位处理，得到目标的定位图，基于所述目标的定位图，得到定位损失值，包括：
7.根据权利要求5所述的方法，其特征在于，还包括：
8.根据权利要求7所述的方法，其特征在于，所述对所述候选正样本进行任务分离采样，确定所述匹配分支选取的对齐正样本和所述定位分支选取的定位正样本，包括：
9.一种计算机设备，其特征在于，包括相互
10.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序数据，所述程序数据用于实现权利要求1至8任一项所述方法的步骤。
...【技术特征摘要】
1.一种跨模态的目标检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用定位分支对所述图像特征进行定位处理，得到目标的定位图，包括：
3.根据权利要求2所述的方法，其特征在于，所述利用所述第一定位图对所述过渡特征进行特征分离，得到分离特征，包括：
4.根据权利要求1所述的方法，其特征在于，所述利用匹配分支对所述图像特征和所述文本特征进行匹配处理，得到目标的类别，包括：
5.一种目标检测模型的训练方法，其特征在于，目标检测模型至少包含匹配分支和定位分支，所述训练方法包括：
6.根据权利要求5所述的方法，其特征在于，所述利用定位分支对所述图像...
【专利技术属性】
技术研发人员：殷俊，吴飞，王科洋，邵明，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。