一种基于洗衣机滚筒图像的多尺度衣物检测系统及方法技术方案

本发明专利技术公开了一种基于洗衣机滚筒图像的多尺度衣物检测系统及方法，属于2D图像目标检测技术领域。所述系统包括：改进的ResNet101网络模块、特征增强模块SRM、动态感受野DRF模块、动态可变形卷积DDH模块；在实现衣物检测时，首先利用改进的ResNet101网络模块和SRM模块得到高质量的浅层特征，通过对浅层特征进行回归操作以最大保留衣物目标的定位信息；再通过DRF模块构建出语义信息更强的金字塔结构，在综合利用各尺寸特征的同时，对衣物目标进行分类和进一步的定位校准；DDH模块对检测框的偏移作用丰富了预测尺度的多样性；本发明专利技术有效地提高了滚筒洗衣机衣物的识别分类能力，提高了衣物检测精度，可应用于洗衣机内复杂衣物的检测场景。测场景。测场景。

【技术实现步骤摘要】
一种基于洗衣机滚筒图像的多尺度衣物检测系统及方法


[0001]本专利技术涉及一种基于洗衣机滚筒图像的多尺度衣物检测系统及方法，属于2D图像的目标检测


技术介绍

[0002]传统洗衣机不具有“慧眼”功能，洗衣者需要人为根据已知衣物类型，通过自身经验值设置洗衣模式；恩X浦半导体在德国纽伦堡举行的全球嵌入式系统展会上展出其采用了RFID和NFC技术的智能洗衣机演示机型，洗衣机可以从内置RFID标签的钮扣中读取有关织物纤维类型及颜色等信息，优化洗涤程序，但该项技术需要对衣物进行改造；深圳大学曾磐等人(曾磐.基于深度学习的智能洗衣机系统构建[D].深圳大学，2017.)在洗衣机内部放置一个高清摄像头，通过该摄像头采集到待洗衣物的图像，将问题转化成图像分割和纹理图像分类领域的问题，通过设计一个基于卷积神经网络的图像分割算法和纹理图像分类算法，得出洗衣机内部衣物量和衣物的材质信息；但该方案需设计两个深度卷积神经网络，分别为图像分割网络和图像分类网络，计算复杂度高；且衣物为人为规则摆放，并非在洗衣机内环境下各类衣物相互遮挡的自然状态，因此并不适用于实际的洗衣场景。
[0003]深度学习目标检测技术的出现，使得只通过一个网络直接学习衣物图像特征，并基于该特征找出图像中的衣物目标成为了可能。该技术已被广泛应用于行人检测、车辆检测、人脸检测、零售商品检测等常见领域，其也是跟踪等高层视觉应用的前置技术，具有巨大的需求市场和应用价值。
[0004]当前目标检测技术主要分为两类：
[0005](1)两阶段算法，该类算法以R
‑
CNN及其变体为主，需要依赖于生成的候选区域建议，通过RPN网络生成可能存在目标的先验框，再利用后续检测网络对候选框进行类别的预测及位置坐标的调整。该二段结构使得正负样本的生成更加均衡，通过二次修正的方式，具有优异的检测精度，但存在速度慢的问题。
[0006](2)单阶段算法，此类算法将图片分成了更小的方格，每一个格子都有固定预设的先验框(anchor)，通过将图片中的物体分配到不同的格子然后再分类，使得只用一个CNN网络便能直接预测不同对象的类别和位置，具有优异的执行速度，但也因此存在着精度不高的问题。
[0007]而目前并没有一种专门适用于洗衣机衣物图像的检测网络，因此最多采用的还是通用的目标检测网络，如二阶段网络Faster RCNN和单阶段网络YOLO系列(陈亚亚,孟朝晖.基于目标检测算法的FashionAI服装属性识别[J].计算机系统应用，2019.)；但由于服装的细节信息比较丰富，属性之间的相似度比较高，加上一些例如光照等外界干扰因素严重影响识别和分类的精度和准确度，导致通用目标检测框架的一些细节设计直接影响到了服装属性识别和分类的效果；加之滚筒环境下衣物的不规则摆放造成的尺度多变性，通用的目标检测模型并不能很好地进行匹配多尺度目标，易造成定位不准。

技术实现思路

[0008]为了解决目前的洗衣机衣物检测方法定位、分类能力弱，识别精度不高的问题，本专利技术首先提供了一种基于洗衣机滚筒图像的多尺度衣物检测系统，所述系统包括：
[0009]改进的ResNet101网络模块、特征增强模块SRM、动态感受野DRF模块、动态可变形卷积DDH模块；
[0010]所述改进的ResNet101网络模块与所述特征增强模块SRM连接，所述特征增强模块SRM的输出特征基础上构建四层多尺度金字塔结构，所述动态感受野DRF模块用于连接所述四层多尺度金字塔各特征层；所述动态可变形卷积DDH模块与所述动态感受野DRF模块连接；
[0011]所述DRF模块包含大小不同的多分支卷积
[0012]可选的，所述改进的ResNet101网络模块包括：
[0013]一个卷积核为7
×
7，步长为1的2D卷积层，后接卷积核为3
×
3，步长为2的最大池化层，之后串联4个卷积层；所述4个卷积层中每个卷积层由不同层的残差块堆叠而成，层数分别为3，4，23，3，输出特征取自所述4个卷积层中的第三层和第四层卷积块。
[0014]可选的，所述方法利用权利要求1
‑
2任一所述的基于洗衣机滚筒图像的多尺度衣物检测系统对洗衣机衣物进行检测，所述方法包括：
[0015]步骤一：对输入洗衣机滚筒图像进行预处理；
[0016]步骤二：应用改进的ResNet101网络模块对步骤一预处理后的洗衣机滚筒图像进行特征提取，输出8倍下采样率和16倍下采样率的特征层；
[0017]步骤三：将步骤二所提取的特征层送入特征增强模块SRM，以进行信息的聚合，得到表征能力更强的浅层特征；
[0018]步骤四：将步骤三所得浅层特征输入四层多尺度金字塔结构，所述浅层特征通过所述四层多尺度金字塔各层之间的DRF模块，最终得到金字塔各特征层的输出特征；
[0019]步骤五：对步骤三所得的浅层特征进行多尺度的回归操作，利用浅层特征信息来进行衣物的粗定位，获得预测框；
[0020]步骤六：利用动态可变形卷积DDH模块对步骤四的金字塔各特征层的输出特征进行偏移；
[0021]步骤七：将步骤五所得预测框作为步骤四所述的四层多尺度金字塔各特征层的默认框，并使用步骤六所述DDH模块产生的偏移量对默认框进行调整；
[0022]步骤八：利用所述DDH模块进行二次的回归以及分类；
[0023]步骤九：将步骤五和步骤八中的回归损失函数进行综合，共同训练，最终输出衣物的分类和精确定位信息。
[0024]可选的，所述步骤三进行信息的聚合包括：
[0025][0026]其中，S3为改进的ResNet101网络第三层在8倍下采样率的输出特征，S4为改进的ResNet101网络第四层在16倍下采样率的输出特征，f
k
×
k
(.)为k
×
k卷积操作，为逐元素相加，C(.)为通道堆叠，U(.)为上采样操作，y为8倍下采样率的聚合两层特征的输出特征。
[0027]可选的，所述步骤四的DRF模块的计算包括：
[0028][0029]其中x为金字塔结构中每一层的上层输出特征，为膨胀率r的k
×
k卷积，i代表着所述DRF模块的第i条分支，W1[i]和W2[i]为第i条分支上网络自学习得到的权重参数，代表N+1个特征图的堆叠，U为所述DRF模块的输出特征。
[0030]可选的，所述步骤五的多尺度回归算法包括：
[0031]S1：对所述步骤三的输出特征y进行4次最大池化操作得到与步骤四中四层金字塔特征一致的四个尺度；
[0032]D
k
＝f3×3(M
k
(y))，k＝0,1,2,3
[0033]其中M
k
(.)代表进行了k次最大池化操作，其下采样率为2
3+k
；D
k
为输出特征；通道数为N
box
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于洗衣机滚筒图像的多尺度衣物检测系统，其特征在于，所述系统包括：改进的ResNet101网络模块、特征增强模块SRM、动态感受野DRF模块、动态可变形卷积DDH模块；所述改进的ResNet101网络模块与所述特征增强模块SRM连接，所述特征增强模块SRM的输出特征基础上构建四层多尺度金字塔结构，所述动态感受野DRF模块用于连接所述四层多尺度金字塔各特征层；所述动态可变形卷积DDH模块与所述动态感受野DRF模块连接。2.根据权利要求1所述的系统，其特征在于，所述改进的ResNet101网络模块包括：一个卷积核为7
×
7，步长为1的2D卷积层，后接卷积核为3
×
3，步长为2的最大池化层，之后串联4个卷积层；所述4个卷积层中每个卷积层由不同层的残差块堆叠而成，层数分别为3，4，23，3，输出特征取自所述4个卷积层中的第三层和第四层卷积块。3.根据权利要求2所述的系统，其特征在于，所述DRF模块包含大小不同的多分支卷积。4.一种基于洗衣机滚筒图像的多尺度衣物检测方法，其特征在于，所述方法利用权利要求3所述的基于洗衣机滚筒图像的多尺度衣物检测系统对洗衣机衣物进行检测，所述方法包括：步骤一：对输入洗衣机滚筒图像进行预处理；步骤二：应用改进的ResNet101网络模块对步骤一预处理后的洗衣机滚筒图像进行特征提取，输出8倍下采样率和16倍下采样率的特征层；步骤三：将步骤二所提取的特征层送入特征增强模块SRM，以进行信息的聚合，得到表征能力更强的浅层特征；步骤四：将步骤三所得浅层特征输入四层多尺度金字塔结构，所述浅层特征通过所述四层多尺度金字塔各层之间的DRF模块，最终得到金字塔各特征层的输出特征；步骤五：对步骤三所得的浅层特征进行多尺度的回归操作，利用浅层特征信息来进行衣物的粗定位，获得预测框；步骤六：利用动态可变形卷积DDH模块对步骤四的金字塔各特征层的输出特征进行偏移；步骤七：将步骤五所得预测框作为步骤四所述的四层多尺度金字塔各特征层的默认框，并使用步骤六所述DDH模块产生的偏移量对默认框进行调整；步骤八：利用所述DDH模块进行二次的回归以及分类；步骤九：将步骤五和步骤八中的回归损失函数进行综合，共同训练，最终输出衣物的分类和精确定位信息。5.根据权利要求4所述的方法，其特征在于，所述步骤三进行信息的聚合包括：其中，S3为改进的ResNet101网络第三层在8倍下采样率的输出特征，S4为改进的ResNet101网络第四层在16倍下采样率的输出特征，f
k
×
k
(.)为k
×
k卷积操作，为逐元素相加，C(.)为通道堆叠，U(.)为上采样操作，y为8倍下采样率的聚合两层特征的输出特征。6.根据权利要求5所述的方法，其特征在于，所述步骤四的DRF模块的计算包括：
其中x为金字塔结构中每一层的上层输出特征，为膨胀率r的k
×
k卷积，i代表着所述DRF模块的第i条分支，W1[i]和W2[i]为第i条分支上网络自学习得到的权重参数，代表N+1个特征图的堆叠，U为所述DRF模块的输出特征。7.根据权利要求4所述的方法，其特征在于，所述步骤五的多尺度回归算法包括：S1：对所述步骤三的输出特征y进行4次最大池化操作得到与步骤四中...

【专利技术属性】
技术研发人员：陈莹，郑棨元，化春键，胡蒙，裴佩，
申请(专利权)人：江南大学，
类型：发明
国别省市：