【技术实现步骤摘要】
本专利技术涉及手势识别，特别是涉及一种基于hud虚像屏的手势识别机器学习算法及交互系统。
技术介绍
1、汽车作为人类出行的重要交通工具，在追求便利与舒适的同时，对其智能性和安全性也提出了更高的要求。hud(抬头显示系统)是汽车智能化技术研究的热点之一，它能够在驾驶员的正常驾驶视域内，将驾驶辅助信息与实际交通场景相融合，既扩展了环境感知信息，又避免了驾驶员过多地低头查看仪表，从而有效地提高了驾驶的安全性。
2、然而，常规的hud控制系统通常仅通过实体按钮或触摸屏上的虚拟按钮进行控制，这在驾驶员驾驶过程中可能会带来诸多不便和安全隐患。目前，一些基于视觉的手势识别车载交互系统已经被提出和应用。例如，申请号为202211235237.9的《一种多模态人机交互系统及车辆》专利，其可根据预设手势来识别每一手势图像的语义。然而，这种方式只能识别固定手势，需要驾驶员牢记各个手势的含义与功能，难以扩展功能，不便于用户使用。
技术实现思路
1、本专利技术旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于hud虚像屏的手势识别机器学习算法及交互系统。
2、为了实现本专利技术的上述目的，本专利技术一方面提供了一种基于hud虚像屏的手势识别机器交互系统，所述系统包括：
3、图像采集模块，设置于车载内，用于采集用户手势数据；
4、手势识别模块，与所述图像采集模块连接用于对所述手势数据进行判断，并输出对应的手势语义信息；
5、控制模块，与所
6、虚拟鼠标模块，与所述控制模块连接，用于根据控制模块发送的控制信号对hud模块进行控制，并显示控制结果；
7、hud模块，与所述虚拟鼠标模块连接，用于实现用户与系统之间的人机交互。
8、作为本专利技术的一种可选实施例，可选地，所述系统还包括：
9、连接模块，与车载系统和所述控制模块连接，用于实现所述控制模块与车载系统之间的数据交互；
10、图像预处理模块，与所述图像采集模块和手势识别模块连接，用于对所述用户手势数据进行预处理，并将预处理后的用户手势数据发送至所述手势识别模块；
11、电源模块，与所述系统连接，用于提供电能。
12、作为本专利技术的一种可选实施例，可选地，所述系统还包括：
13、校准模块，与所述控制模块连接，用于校准虚拟鼠标在所述hud模块中的位置。
14、本专利技术另一方面还提供一种基于hud虚像屏的手势识别机器学习算法，所述方法包括：
15、s1、采集在车载环境内的手势动作图像数据，并将所述手势动作图像数据分为训练集和测试集；
16、s2、对所述训练集中的手势动作图像数据进行预处理；
17、s3、利用yolov5提取预处理后的手势动作图像数据中的特征数据，并通过注意力机制提取出关键特征，生成关键特征矩阵，所述关键特征矩阵包括手掌特征矩阵和食指指尖特征矩阵；
18、s4、对所述特征矩阵进行池化操作，降低所述特征矩阵中所有特征向量的维度；
19、s5、利用所述长短期记忆网络捕获所述特征数据中的长期依赖关系，基于所述yolov5和长期依赖关系建立手势识别模型；
20、s6、基于所述测试集利用损失函数对所述手势识别模型进行优化，利用优化后的手势识别模型对手势动作图像数据进行识别。
21、作为本专利技术的另一种可选实施例，可选地，所述通过注意力机制提取出关键特征的公式为：
22、s(a)＝σ(fc3(fc2(ap(fc1(a)))))
23、
24、其中，s(a)表示输入特征数据集a的关键特征矩阵，σ表示sigmoid函数，fc1、fc2和fc3表示三个全连接层，fc2用于压缩特征通道数量，fc3用于还原通道数量，fc1用于特征浓缩，表示步长为2，卷积核大小为4×4的逐通道空洞卷积，表示步长为3，卷积核大小为4×4的逐通道空洞卷积，表示步长为1，卷积核大小为2×2的逐通道空洞卷积，dim4m(a)表示对特征数据集进行第4m维的注意力操作。
25、作为本专利技术的另一种可选实施例，可选地，所述对所述特征矩阵进行池化操作的公式表示为：
26、
27、其中，sc表示池化操作的输出，si表示第i个关键特征向量，n表示关键特征向量的总数，h表示行数，w表示列数，c表示通道数。
28、作为本专利技术的另一种可选实施例，可选地，所述利用所述长短期记忆网络捕获所述特征数据中的长期依赖关系的公式可表示为：
29、y＝fc(lsmt(sc))
30、其中，fc()表示全连接层，lsmt()表示长短期记忆网络。
31、作为本专利技术的另一种可选实施例，可选地，所述长短期记忆网络可表示为：
32、ct＝ft⊙ct-1+it⊙gt
33、ht＝ot⊙tanh(ct)
34、
35、
36、
37、
38、其中，ct表示t时刻的细胞状态，ft表示遗忘门的输出，it表示输入门的输出，gt表示新记忆门的输出，ot表示输出门的输出，θ()表示softmax的数。
39、作为本专利技术的另一种可选实施例，可选地，所述利用损失函数对所述手势识别模型进行优化的公式为：
40、
41、
42、其中，l表示损失函数，st表示第t时刻所述softmax的输出概率分分布向量，ht表示长短期记忆网络在t时刻输出隐藏状态向量，sjc表示第j个池化操作的输出，k表示池化操作输出的总数。
43、作为本专利技术的一种可选实施例，可选地，所述提取预处理后的手势动作图像数据中的特征数据包括：
44、s31、利用yolov5对所述手势动作图像数据进行检测，获得检测框的位置信息；
45、s32、基于所述检测框的位置信息提取手势动作图像数据中的特征数据；提取特征数据的公式为：
46、ax＝gap(attentionblock(resx(rolx(a,xa))))
47、其中，ax表示特征数据，gap()表示全局平均池化，resx()表示残差模块，a表示手势动作图像数据，xa表示参数，attentionblock()表示注意力模块，rolx()表示区域提议网络。
48、本专利技术的有益效果是：本专利技术通过图像采集模块采集用户手势数据，再由手势识别模块对数据进行判断，输出对应的手势语义信息，控制模块根据手势语义信息对鼠标模块进行控制，鼠标模块根据控制模块发送的控制信号对hud模块进行控制，并显示控制结果，实现通过用户的手势对车载系统进行控制，通过本专利技术可方便用户操作，提高了用户在驾驶时的便利性和安全性，且不用记住固定的手势。通过虚拟鼠标模块可根据手势语义信息控制hud模块，使得hu本文档来自技高网...
【技术保护点】
1.一种基于HUD虚像屏的手势识别机器交互系统，其特征在于，所述系统包括：
2.如权利要求1所述的一种基于HUD虚像屏的手势识别机器交互系统，其特征在于，所述系统还包括：
3.如权利要求1所述的一种基于HUD虚像屏的手势识别机器交互系统，其特征在于，所述系统还包括：
4.一种基于HUD虚像屏的手势识别机器学习算法，其特征在于，所述方法包括：
5.如权利要求4所述的一种基于HUD虚像屏的手势识别机器学习算法，其特征在于，所述通过注意力机制提取出关键特征的公式为：
6.如权利要求5所述的一种基于HUD虚像屏的手势识别机器学习算法，其特征在于，所述对所述特征矩阵进行池化操作的公式表示为：
7.如权利要求4所述的一种基于HUD虚像屏的手势识别机器学习算法，其特征在于，所述利用所述长短期记忆网络捕获所述特征数据中的长期依赖关系的公式可表示为：
8.如权利要求7所述的一种基于HUD虚像屏的手势识别机器学习算法，其特征在于，所述长短期记忆网络可表示为：
9.如权利要求8所述的一种基于HUD虚像屏的手
10.如权利要求4所述的一种基于HUD虚像屏的手势识别机器学习算法，其特征在于，所述提取预处理后的手势动作图像数据中的特征数据包括：
...【技术特征摘要】
1.一种基于hud虚像屏的手势识别机器交互系统，其特征在于，所述系统包括：
2.如权利要求1所述的一种基于hud虚像屏的手势识别机器交互系统，其特征在于，所述系统还包括：
3.如权利要求1所述的一种基于hud虚像屏的手势识别机器交互系统，其特征在于，所述系统还包括：
4.一种基于hud虚像屏的手势识别机器学习算法，其特征在于，所述方法包括：
5.如权利要求4所述的一种基于hud虚像屏的手势识别机器学习算法，其特征在于，所述通过注意力机制提取出关键特征的公式为：
6.如权利要求5所述的一种基于hud虚像屏的手势识别机器学习算法，其特征在于，所述对所...
【专利技术属性】
技术研发人员：周中奎，李银国，朱智勤，周锋，王强，邹耀，
申请(专利权)人：重庆利龙中宝智能技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。