【技术实现步骤摘要】
本专利技术涉及计算机视觉和人工智能领域，更具体地说，涉及一种人机交互图像情绪识别方法及其系统。
技术介绍
1、随着人工智能技术的飞速发展，情感计算已经逐渐成为了一个备受关注的研究领域，情感计算是一门跨学科的科学，它旨在让计算机能够理解和模拟人类的情感，从而实现更加智能化的人机交互，这一领域的研究涉及到计算机科学、心理学、语言学等多个学科，旨在通过分析人类的言语、面部表情、肢体动作等非语言信息，来识别和理解人类的情感状态，然而，现有的情感识别技术主要依赖于人工标注的数据，这在一定程度上限制了其应用的广泛性，由于情感是人类主观体验的一种表达方式，每个人对同一事物的情感反应可能存在差异，因此人工标注的数据往往无法完全覆盖所有可能的情感表达。
2、首先，人工标注的数据需要大量的人力和时间投入，情感识别任务通常需要专家或有经验的人员对文本、语音或图像等数据进行标注，以确定其中所包含的情感类别，然而，由于情感的复杂性和多样性，人工标注的过程可能会受到主观因素的影响，导致标注结果的不一致性，其次，人工标注的数据难以涵盖所有可能的情感表达，人类情感的表达方式多种多样，包括语言、面部表情、身体姿态等，然而，人工标注的数据通常只能针对特定的情感类别进行标注，无法全面捕捉到所有可能的情感表达，例如，对于一种复杂的情感状态，如喜悦与悲伤的混合情绪，人工标注的数据可能无法准确地描述这种情感的细微差别，此外，人工标注的数据还面临着样本不平衡的问题，在实际应用中，某些情感类别的样本数量可能远远大于其他类别，导致模型在训练过程中对少数类别的情感识别
3、此外，现有的情感识别技术在处理复杂的人机交互场景时，往往无法准确地识别出用户的情绪状态，这是因为在现实生活中，人们的情绪表达往往是多样化和复杂的，受到多种因素的影响，如个人经历、文化背景、社交环境等，而现有的情感识别技术主要依赖于面部表情、语音语调等表面特征进行情绪判断，难以捕捉到深层次的情感信息，首先，面部表情是人们情绪表达的重要方式之一，但不同文化背景下的面部表情可能存在差异，例如，在某些文化中，微笑可能表示愉悦或友好，而在另一些文化中，微笑可能只是一种礼貌性的回应，因此，现有的情感识别技术在跨文化交流中容易出现误判，其次，语音语调也是情感识别的重要依据之一，然而，人们在表达情绪时往往会使用不同的语音语调，这取决于个体的语音习惯、语言风格等因素，此外，同一情绪状态下的语音语调也可能因个体差异而有所不同，因此，现有的情感识别技术在面对这种多样性时，很难准确判断用户的真实情绪。
4、传统卷积神经网络(cnn)模型中，学习率因子选择的太小，训练过程会过于缓慢，难以收敛，如果选择的太大，训练过程会不稳定，导致模型无法收敛到好的解决方案，在训练过程中出现振荡问题，导致对面部图像的提取不准确；同时，随着训练的进行，模型权重的更新会逐渐变小，这是因为梯度在反向传播过程中被学习率因子缩放，如果学习率因子选择不当，可能会导致梯度消失或爆炸的问题，进而导致模型性能下降，因此在面部图像特征提取过程中，为了保证最终面部提取具备最优鲁棒性，需要更加准确的学习率因子。
5、成吉思汗鲨鱼优化算法是一种元启发式算法，元启发式算法是一类广泛应用于优化问题的算法，它们通过模拟自然界中的某些现象或行为，来寻找问题的最优解。将元启发式算法与cnn算法结合，解决学习率因子选择不当的问题，有望为cnn的性能优化提供新的思路和方法。
6、为此，提出一种人机交互图像情绪识别方法及其系统。
技术实现思路
1、针对现有技术中存在的问题，本专利技术的目的在于提供一种人机交互图像情绪识别方法及其系统，可以在情感识别技术在面对这种多样性时，较为准确判断用户的真实情绪。
2、为解决上述问题，本专利技术采用如下的技术方案。
3、一种人机交互图像情绪识别方法及其系统，该方法包括以下步骤：
4、(1)采集用户的面部表情图像：使用摄像头或其他图像采集设备，对用户的面部表情进行实时或离线采集，获取面部表情图像。
5、(2)引入多模态数据：通过其他与情绪相关的因素，肢体语言、眼神接触，通过综合分析多个模态的数据，更准确地判断用户的真实情绪。
6、(3)结合上下文信息：通过考虑用户的上下文信息，对话内容、环境背景，通过将情绪判断与上下文信息相结合，可以更好地理解用户的情绪表达，并减少误判的可能性。
7、(4)利用深度学习算法对图像进行特征提取：将采集到的面部表情图像输入到深度学习算法中，该算法会自动提取出图像中的关键特征，常用的深度学习算法包括循环神经网络(rnn)。
8、(5)将提取的特征输入到分类模型中，得到用户的情绪类别：将提取到的特征作为输入，输入到预先训练好的分类模型中，该模型会根据输入的特征判断用户的情绪类别。常用的分类模型包括朴素贝叶斯分类器、深度信念网络(dbn)和生成对抗网络(gan)。
9、优选地，所述的深度学习算法采用卷积神经网络(cnn)，将成吉思汗鲨鱼优化算法与卷积神经网络(cnn)结合，通过成吉思汗鲨鱼优化算法优化cnn算法对图像进行特征提取，以提高特征提取的准确性和效率。
10、优选地，所述卷积神经网络中，学习率参数对于网络的训练和学习性能具有重要影响，成吉思汗鲨鱼优化算法具有较好的全局搜索能力，可以更有效地找到全局最优解，避免陷入局部最优，这对于卷积神经网络的学习率参数优化非常重要，因为合适的学习率可以加快网络的收敛速度，提高训练效果；其次，成吉思汗鲨鱼优化算法在迭代过程中，通过不断更新种群中的最优解和最差解，可以快速找到最优解，这有助于减少卷积神经网络训练的时间成本，提高训练效率，最后，成吉思汗鲨鱼优化算法具有良好的并行计算能力，可以通过并行计算提高算法的执行效率。在卷积神经网络训练中，可以利用并行计算资源加速训练过程。
11、优选地，平时在模型训练时，学习率因子都是靠经验手动设置的，通过成吉思汗鲨鱼优化算法对卷积神经网络优化，可以根据模型在训练时的特征，自适应的调节选择最优的学习率因子，从而提高面部特征提取的准备性。
12、优选地，所述通过成吉思汗鲨鱼优化算法优化cnn算法，首先，利用成吉思汗鲨鱼优化算法整定卷积神经网络的学习率，然后，迭代找到最适合特征提取的学习率参数，具体步骤为：
13、s11、初始化成吉思汗鲨鱼算法的最大迭代次数t；
14、s12、初始化一组成吉思汗鲨鱼个体，每个个体代表一个潜在的cnn模型，个体的位置为cnn模型的学习率参数；
15、s13、使用成吉思汗鲨鱼优化算法对初始化后的个体进行训练，在每次迭代中，每个个体通过在其训练数据集上运行cnn模型来更新其适应度值，适应度值用于评估cnn模型的特征提取能力。
16、s14、根据每个粒子的适应度值，通过比较找到全局最优本文档来自技高网...
【技术保护点】
1.一种人机交互图像情绪识别方法及其系统，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种人机交互图像情绪识别方法及其系统，其特征在于：所述的深度学习算法采用卷积神经网络(CNN)，将成吉思汗鲨鱼优化算法与卷积神经网络(CNN)结合，通过成吉思汗鲨鱼优化算法优化CNN算法对图像进行特征提取，以提高特征提取的准确性和效率。
3.根据权利要求2所述的一种人机交互图像情绪识别方法及其系统，其特征在于：所述通过成吉思汗鲨鱼优化算法优化CNN算法，首先，利用成吉思汗鲨鱼优化算法整定卷积神经网络的学习率，然后，迭代找到最适合特征提取的学习率参数，具体步骤为：
4.根据权利要求3所述的一种人机交互图像情绪识别方法及其系统，其特征在于：成吉思汗鲨鱼优化算法的更新规则为：
5.根据权利要求2所述的一种人机交互图像情绪识别方法及其系统，其特征在于：所述的分类模型是基于生成对抗网络(GAN)，所述生成对抗网络(GAN)由两个神经网络组成：生成器和判别器；生成器试图生成与真实数据相似的假数据，而判别器则试图区分生成的数据和真实的数据，这两个网
6.一种人机交互图像情绪识别系统，其特征在于，该系统包括：
7.适用于权利要求1-6任意一项所述的一种人机交互图像情绪识别方法及其系统，其特征在于：包括如下步骤：
...【技术特征摘要】
1.一种人机交互图像情绪识别方法及其系统，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种人机交互图像情绪识别方法及其系统，其特征在于：所述的深度学习算法采用卷积神经网络(cnn)，将成吉思汗鲨鱼优化算法与卷积神经网络(cnn)结合，通过成吉思汗鲨鱼优化算法优化cnn算法对图像进行特征提取，以提高特征提取的准确性和效率。
3.根据权利要求2所述的一种人机交互图像情绪识别方法及其系统，其特征在于：所述通过成吉思汗鲨鱼优化算法优化cnn算法，首先，利用成吉思汗鲨鱼优化算法整定卷积神经网络的学习率，然后，迭代找到最适合特征提取的学习率参数，具体步骤为：
4...
【专利技术属性】
技术研发人员：朱泓，沈阳，向安玲，李锦枝，单华琦，张亚男，
申请(专利权)人：北京清博智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。