一种基于稀疏膨胀注意力的目标检测方法及设备技术

本发明专利技术实施例提供的一种基于稀疏膨胀注意力的目标检测方法及设备，涉及遮挡目标检测技术领域，解决家庭场景下的目标检测容易出现遮挡导致特征不完备而错检漏检等问题。该方法包括：获取图像特征图，利用膨胀卷积对同尺度特征图进行处理，生成图像块令牌；采用稀疏的膨胀注意力提取感兴趣区域点并计算图像令牌关联，对特征编码；采用基于局部敏感哈希的图像块先验筛选方法筛选相关性较大的图像块进行预分类；通过目标检测网络将特征图的维度映射到目标类别数量和检测框信息，实现目标物体的识别和定位。的识别和定位。的识别和定位。

【技术实现步骤摘要】
一种基于稀疏膨胀注意力的目标检测方法及设备


[0001]本专利技术属于遮挡目标检测
，尤其涉及一种基于稀疏膨胀注意力的目标检测方法及设备。

技术介绍

[0002]目前智能家居产品存在的体验优化、生活便利度提升不明显困境，打造高端家用产品智能感知和一体化系统是构建数字化中国未来智慧居家系统的关键。然而杂乱多变的家庭场景为家用机器人的工作带来较大影响，严重阻碍了家用机器人物体识别技术等的发展，阻碍了实现的智慧家庭系统全环境一体化感知和智能家居互联的研究进程。
[0003]家庭场景下的目标检测面临杂乱多变的背景，同时家庭物体存在视角多变，且容易出现所检测的物体存在遮挡的现象，导致部分特征不可观等问题。现有的目标检测技术基于单张图片对遮挡物体进行目标检测，而目标物体关键点特征的丢失将导致目标检测过程中特征提取不完备，导致目标物体的错检和漏检，进而影响目标检测算法的精度，给家用机器人的目标检测能力提出巨大的挑战。

技术实现思路

[0004]本专利技术的目的在于提供一种基于稀疏膨胀注意力的目标检测方法及设备，用于解决家庭场景下的目标检测容易出现遮挡导致特征不完备而错检漏检等问题。
[0005]为达到上述目的，本专利技术实施例提供了一种基于稀疏膨胀注意力的目标检测方法，其特征在于，包括：
[0006]获取图像特征图，利用膨胀卷积对同尺度特征图进行处理，生成图像块令牌；
[0007]采用稀疏的膨胀注意力提取感兴趣区域点并计算图像令牌关联，对特征编码；
[0008]采用基于局部敏感哈希的图像块先验筛选方法筛选相关性较大的图像块进行预分类；
[0009]通过目标检测网络将特征图的维度映射到目标类别数量和检测框信息，实现目标物体的识别和定位。
[0010]进一步的，所述利用膨胀卷积对同尺度特征图进行处理，生成图像块令牌的方法，包括，利用混合膨胀卷积，通过叠加具有锯齿状膨胀率的卷积构建循环结构，保证地面大尺度物体具有较好的分割效果，同时利用锯齿状叠加捕获小物体的特征。
[0011]进一步的，所述通过稀疏的膨胀注意力提取感兴趣区域点并计算图像令牌关联的方法包括，采用稀疏的膨胀注意力替代自注意力，从整张图片提取感兴趣区域点，并给感兴趣区域内的信息赋予第一权重，对感兴趣区域外的信息赋予第一权重，所述第一权重大于第二权重，在窗口内实现局部自注意力和全局稀疏注意力的融合。
[0012]进一步的，所述通过稀疏的膨胀注意力提取感兴趣区域点并计算图像令牌关联的方法还包括，利用稀疏膨胀注意力进行令牌之间的关联性计算，考虑局部注意力的局部紧密相关和远程稀疏相关，实现局部紧密关联的信息和部分全局信息的融合。
[0013]进一步的，所述通过稀疏的膨胀注意力提取感兴趣区域点并计算图像令牌关联的方法还包括，通过控制注意力膨胀率，实现不同尺度下的局部与全局特征的融合。
[0014]进一步的，所述局部敏感哈希的图像块先验筛选方法，包括通过一种哈希方法将数据从原空间映射到一个新的空间，使得在原空间中相似的点经过映射依旧在新空间中有较大的概率相似，而原本不相似的点在新空间中几乎不会相似。
[0015]进一步的，所述采用基于局部敏感哈希的图像块先验筛选方法筛选相关性较大的图像块进行预分类方法还包括计算类内注意力和类间注意力关联。
[0016]进一步的，所述目标检测网络，包括但不限于RetinaNet、R
‑
CNN、FAST
‑
RCNN、YOLO。
[0017]本专利技术实施例提供的另一种基于稀疏膨胀注意力的目标检测设备，其特征在于，包括：
[0018]特征图处理模块，用于获取图像特征图，利用膨胀卷积对同尺度特征图进行处理，生成图像块令牌；
[0019]特征编码模块，用于采用稀疏的膨胀注意力提取感兴趣区域点并计算图像令牌关联，对特征编码；
[0020]预分类模块，用于采用基于局部敏感哈希的图像块先验筛选方法筛选相关性较大的图像块进行预分类；
[0021]识别定位模块，用于通过目标检测网络将特征图的维度映射到目标类别数量和检测框信息，实现目标物体的识别和定位。
[0022]本专利技术实施例提供的一种基于稀疏膨胀注意力的目标检方法及设备的有益效果是：通过在进行特征嵌入前利用基于膨胀卷积的特征图处理方式，并引入稀疏膨胀卷积和稀疏注意力机制及局部敏感哈希预分类方法，提取感兴趣点并实现感兴趣区域自动学习，可以解决家庭场景下的目标检测容易出现遮挡导致特征不完备而错检漏检等问题。
附图说明
[0023]图1示出了本专利技术一种基于稀疏膨胀注意力的目标检测方法的实施例一的流程图。
[0024]图2示出了本专利技术一种基于稀疏膨胀注意力的目标检测设备的结构示意图。
具体实施方式
[0025]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0026]相反，本申请涵盖任何由权利要求定义的在本申请的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本申请有更好的了解，在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。
[0027]以下将结合图1对本申请实施例所涉及的一种基于遗传算法的优化前端分包打包方法进行详细说明。值得注意的是，以下实施例仅仅用于解释本申请，并不构成对本申请的限定。
[0028]实施例1：
[0029]如图1所示，一种基于稀疏膨胀注意力的目标检测方法，包括：
[0030]步骤1、获取图像特征图，利用膨胀卷积对同尺度特征图进行处理，生成图像块令牌。
[0031]基于Transformer的目标检测网络通常有两种形式，一是在每一阶段之间利用卷积逐渐减小特征图的分辨率，获得少量高维的令牌块进行注意力计算，这种方法降低特征图分辨率，可能导致低纬度细节信息的丢失；另一种是保持特征图的分辨率不变，本实施例直接利用所有令牌块进行注意力的计算，这种方法计算量是令牌块数量的平方，需要大量的算力支持。利用混合膨胀卷积，通过叠加具有锯齿状膨胀率的卷积构建循环结构，有效获取了长距离信息，减少了特征损失，保证地面大尺度物体具有较好的分割效果，同时利用锯齿状叠加捕获小物体的特征，通过膨胀卷积处理后的特征图具有更广阔的感受野，同时进一步减少了令牌块的数量，直接降低了注意力计算环节的计算量。
[0032]步骤2、采用稀疏的膨胀注意力提取感兴趣区域点并计算图像令牌关联，对特征编码。
[0033]所述通过稀疏的膨胀注意力提取感兴趣区域点并计算图像令牌关联的方法包括，采用稀疏的膨胀注意力替代自注意力，每个元素只跟与他相对距离为k,2k,3k...的元素关联，局部自注意力放弃全局关联，引入局部关联，每个元素只与前后k个元素及自身有关联，稀疏注意力的注意力矩阵中，除了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于稀疏膨胀注意力的目标检测方法，其特征在于，包括：获取图像特征图，利用膨胀卷积对同尺度特征图进行处理，生成图像块令牌；采用稀疏的膨胀注意力提取感兴趣区域点并计算图像令牌关联，对特征编码；采用基于局部敏感哈希的图像块先验筛选方法筛选相关性大的图像块进行预分类；通过目标检测网络将特征图的维度映射到目标类别数量和检测框信息，实现目标物体的识别和定位。2.根据权利要求1所述的一种基于稀疏膨胀注意力的目标检测方法，其特征在于，所述利用膨胀卷积对同尺度特征图进行处理，生成图像块令牌的方法，包括，利用混合膨胀卷积，通过叠加具有锯齿状膨胀率的卷积构建循环结构，同时利用锯齿状叠加捕获物体的特征。3.根据权利要求1所述的一种基于稀疏膨胀注意力的目标检测方法，其特征在于，所述稀疏的膨胀注意力提取感兴趣区域点并计算图像令牌关联的方法包括，采用稀疏的膨胀注意力替代自注意力，从整张图片提取感兴趣区域点，并给感兴趣区域内的信息赋予第一权重，对感兴趣区域外的信息赋予第一权重，所述第一权重大于第二权重，在窗口内实现局部自注意力和全局稀疏注意力的融合。4.根据权利要求1所述的一种基于稀疏膨胀注意力的目标检测方法，其特征在于，所述通过稀疏的膨胀注意力提取感兴趣区域点并计算图像令牌关联的方法还包括，利用稀疏膨胀注意力进行令牌之间的关联性计算，考虑局部注意力的局部紧密相关和远程稀疏相关，实现局部紧密关联的信息和部分全局信息的融合。5....

【专利技术属性】
技术研发人员：刘孟红，刘艳娇，荀钰婷，况逸群，
申请(专利权)人：四川启睿克科技有限公司，
类型：发明
国别省市：