【技术实现步骤摘要】
本专利技术涉及的一种应用于服务机器人的嘴部动作检测方法，特别是涉及应用于人机交互领域的一种应用于服务机器人的嘴部动作检测方法。
技术介绍
1、深度学习的发展，给服务机器人带来无限可能，特别是语音和视觉方面：语音方面，受限于拾音的硬件设备，在嘈杂环境中，服务机器人容易受到外界的干扰，产生错误的交互；视觉方面，可依据嘴唇的变化读取使用者的语言，二者结合能够更精准的识别使用者的对话数据。
2、视觉人机交互过程中，人距离服务机器人较远，嘴巴成像较小，属于小目标，小目标较大目标的检测难度高；另一方面，服务机器人搭载芯片的ai算力不强，需要有限的算力开发鲁棒性极高的目标检测算法，因此，基于服务机器人算力平台以及场景应用，改进yolov5目标检测算法，并成功应用到服务机器人。
3、原始yolov5的颈部网络，采用了fpn和pan的网络架构，结合特征金字塔和路径聚合来增强不同大小目标的检测能力，然而整个网络架构较为复杂，且计算量大。
技术实现思路
1、针对上述现有技术，本专利技术要解决的技术问题是，原始yolov5的颈部网络，采用了fpn和pan的网络架构，结合特征金字塔和路径聚合来增强不同大小目标的检测能力，然而整个网络架构较为复杂，且计算量大的问题。
2、为解决上述问题，本专利技术提供了一种应用于服务机器人的嘴部动作检测方法，包括基于yolov5的网络框架和语音图形模块，网络框架包括输入模块、主干网络、颈部网络和检测头；
3、检测方法包括以下具体
4、s1、将主干网络的最终输出作为整个架构的输入，其特征图为原始图像的1/8，通过upsample1/2上采样得到原始图像1/4大小的特征图，与主干网络c3模块在1/4特征图提取的特征cat拼接，此外利用c3模块输出下一级的输入和小目标的检测头；
5、s2、将新的输入利用conv1/2下采样得到原始图像的1/8大小特征图，以获取较大的感受野，与主干网络c3模块在1/8特征图提取的特征cat拼接；最后，利用c3模块输出另外一个检测头。
6、作为本申请的进一步改进，颈部网络与主干网络依次交叉拼接之前，每个c3模块提取的特征经过一层cbam模块。
7、作为本申请的再进一步改进，语音图形模块包括外壳，外壳的内壁固定连接有匀风板和传热板，外壳靠近匀风板的侧壁固定连接有热风机，外壳的外壁开设有多个均匀分布的透气孔，透气孔位于匀风板和传热板之间。
8、作为本申请的更进一步改进，传热板的中部固定连接有热成像仪，外壳靠近传热板的开口端固定连接有传感片，热成像仪的检测端朝向传感片。
9、作为本申请的又一种改进，语音图形模块的使用方法包括以下步骤：
10、a1、热风机吹出的热风通过匀风板吹向传热板，并通过透气孔排出，此时传热板温度升高，且传感片表面的不同位置温度相同；
11、a2、使用者说话时呼出气体，且说出不同的语句时，呼出气体的角度和力度均不相同，且呼出气体传递至传感片的表面；
12、a3、呼出气体传递至传感片表面时，会对传感片起到散热的作用，此时传感片表面不同位置温度不同，且热成像仪获取传感片的温度特征；
13、a4、特征对比模块将传感片的温度特征与数据库中的温度特征作对比，得到使用者的说话信息。
14、作为本申请的又一种改进的补充，数据库中的温度特征采集方法为：采集员的嘴唇与传感片之间的距离为10-50厘米，并标准发音，单次发音结束后，热成像仪获取传感片的温度特征，并记录至数据库中。
15、作为本申请的又一种改进的补充，传感片的厚度小于外壳毫米，且传感片为金属材料制成；通过上述设置，使传感片更容易受到呼出气体的影响而发生温度变化。
16、作为本申请的再一种改进，传感片的温度为30-50摄氏度之间，通过上述设置，进一步提高传感片受呼出气体的灵敏度。
17、综上所述，本专利技术具有高效的小目标检测，主干网络减少了conv卷积操作，大大削弱了大目标检测能力，同时新增检测头，包含更小目标的检测，改进了网络架构，结合颈部网络提出cc网络架构，该网络架构简单高效，有效地聚合提取了各尺度特征，输出包含更丰富特征的检测头，在网络架构中添加了cbam注意力模块，提高了网络提取特征的能力，关注待检测目标的特征，减少了网络计算量，网络层数由原始的23层减少为14层，计算量大大降低，满足服务器人快速、精准的嘴巴动作检测，且提供了一种新型的对话交互方法，结合嘴巴动作检测和语音识别，为服务机器人的交互提供可靠数据，提高交互体验
本文档来自技高网...【技术保护点】
1.一种应用于服务机器人的嘴部动作检测方法，其特征在于：包括基于yolov5的网络框架和语音图形模块，所述网络框架包括输入模块、主干网络、颈部网络和检测头；
2.根据权利要求1所述的一种应用于服务机器人的嘴部动作检测方法，其特征在于：所述颈部网络与主干网络依次交叉拼接之前，每个C3模块提取的特征经过一层CBAM模块。
3.根据权利要求1所述的一种应用于服务机器人的嘴部动作检测方法，其特征在于：所述语音图形模块包括外壳(1)，所述外壳(1)的内壁固定连接有匀风板(2)和传热板(3)，所述外壳(1)靠近匀风板(2)的侧壁固定连接有热风机(5)，所述外壳(1)的外壁开设有多个均匀分布的透气孔(4)，所述透气孔(4)位于匀风板(2)和传热板(3)之间。
4.根据权利要求3所述的一种应用于服务机器人的嘴部动作检测方法，其特征在于：所述传热板(3)的中部固定连接有热成像仪(7)，所述外壳(1)靠近传热板(3)的开口端固定连接有传感片(6)，所述热成像仪(7)的检测端朝向传感片(6)。
5.根据权利要求3-4所述的一种应用于服务机器人的嘴部动作检
6.根据权利要求5所述的一种应用于服务机器人的嘴部动作检测方法，其特征在于：所述数据库中的温度特征采集方法为：采集员的嘴唇与传感片(6)之间的距离为10-50厘米，并标准发音，单次发音结束后，所述热成像仪(7)获取传感片(6)的温度特征，并记录至数据库中。
7.根据权利要求4所述的一种应用于服务机器人的嘴部动作检测方法，其特征在于：所述传感片(6)的厚度小于外壳(1)毫米，且传感片(6)为金属材料制成。
8.根据权利要求4所述的一种应用于服务机器人的嘴部动作检测方法，其特征在于：所述传感片(6)的温度为30-50摄氏度之间。
...【技术特征摘要】
1.一种应用于服务机器人的嘴部动作检测方法，其特征在于：包括基于yolov5的网络框架和语音图形模块，所述网络框架包括输入模块、主干网络、颈部网络和检测头；
2.根据权利要求1所述的一种应用于服务机器人的嘴部动作检测方法，其特征在于：所述颈部网络与主干网络依次交叉拼接之前，每个c3模块提取的特征经过一层cbam模块。
3.根据权利要求1所述的一种应用于服务机器人的嘴部动作检测方法，其特征在于：所述语音图形模块包括外壳(1)，所述外壳(1)的内壁固定连接有匀风板(2)和传热板(3)，所述外壳(1)靠近匀风板(2)的侧壁固定连接有热风机(5)，所述外壳(1)的外壁开设有多个均匀分布的透气孔(4)，所述透气孔(4)位于匀风板(2)和传热板(3)之间。
4.根据权利要求3所述的一种应用于服务机器人的嘴部动作检测方法，其特征在于：所述传热板(3)的中部固定连接有热成像仪(7)...
【专利技术属性】
技术研发人员：曹铮，崔书浩，周华强，方礼强，叶家兴，项鹏飞，
申请(专利权)人：国汽朴津智能科技合肥有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。