一种单模态和多模态组合的情感分析系统、方法及电子设备技术方案

本发明专利技术涉及情感分析技术领域，公开了一种单模态和多模态组合的情感分析系统、方法及电子设备，包括资料上传储存模块、单模态情感分析模块、多模态情感分析模块、模型导入模块和数据显示模块；其中，所述资料上传储存模块用于对图片和视频文件进行上传和储存；所述单模态情感分析模块用于对上传的图片进行识别分析；所述多模态情感分析模块用于对视频进行多要素捕捉并识别分析，捕捉要素包括文本要素和音频要素；所述模型导入模块用于对单模态情感比对模型和多模态情感比对模型进行存储；所述数据显示模块用于对所述单模态情感分析模块和多模态情感分析模块的分析结果数据进行显示。该情感分析系统能够进行多要素比对，正确率高。率高。率高。

【技术实现步骤摘要】
一种单模态和多模态组合的情感分析系统、方法及电子设备


[0001]本专利技术涉及情感分析
，具体地涉及一种单模态和多模态组合的情感分析系统、方法及电子设备。

技术介绍

[0002]情感分析系统旨在检测人脸情绪，对人脸情绪做出分析，给出相应的预测结果，从而实现人脸情感预测的可视化，主要应用于交通工具驾驶、临床医学和人工智能等领域。当前的情感分析系统一般采用算法建立情绪模型库，通过对单模态信息进行模型库比对，进而得出相应的情感分析结果。
[0003]但是，现有的情感分析系统在使用中发现，其存在单模态信息不足的问题，需要不断完善模型库，且难以通过其他要素进行比对，出错率较高。

技术实现思路

[0004]本专利技术的目的是克服单模态情感分析系统存在单模态信息不足的问题，需要不断完善模型库，且难以通过其他要素进行比对，出错率较高的问题，提供一种单模态和多模态组合的情感分析系统、方法及电子设备，能够进行多要素比对，正确率高。
[0005]为了实现上述目的，本专利技术第一方面提供一种单模态和多模态组合的情感分析系统，包括资料上传储存模块、单模态情感分析模块、多模态情感分析模块、模型导入模块和数据显示模块；
[0006]其中，所述资料上传储存模块用于对图片和视频文件进行上传和储存；
[0007]所述单模态情感分析模块用于对上传的图片进行识别分析；
[0008]所述多模态情感分析模块用于对视频进行多要素捕捉并识别分析，捕捉要素包括文本要素和音频要素；
[0009]所述模型导入模块用于对单模态情感比对模型和多模态情感比对模型进行存储；
[0010]所述数据显示模块用于对所述单模态情感分析模块和多模态情感分析模块的分析结果数据进行显示。
[0011]优选的，所述多模态情感分析模块包括视频获取模块、短视频分析模块和长视频分析模块；
[0012]所述视频获取模块用于对所述资料上传存储模块存储的视频资料文件进行调用并甄别长短视频以将视频传输至对应的视频分析模块；
[0013]所述长视频分析模块用于对长视频分析分割并将分割后的多个短视频依次传输给所述短视频分析模块；
[0014]所述短视频分析模块用于对短视频的要素进行捕捉提取并与所述模型导入模块中的多模态情感比对模型进行比对分析。
[0015]优选的，所述短视频分析模块包括文本显示模块、音/视频显示模块、模型调用模块和识别结果模块；
[0016]所述文本显示模块用于对短视频中的文本进行显示，所述音/视频显示模块用于对短视频中的声音和画面进行可视化显示；
[0017]所述模型调用模块用于对所述模型导入模块存储的的多模态情感比对模型进行筛选和调用，所述识别结果模块用于将被调用的多模态情感比对模型与所述文本显示模块和所述音/视频显示模块中的要素进行对比分析。
[0018]优选的，该情感分析系统还包括用户身份验证和用户登录的身份验证模块。
[0019]优选的，所述单模态情感分析模块包括图像获取模块、图片显示模块、模型调用模块和识别结果模块；
[0020]所述图像获取模块用于对所述资料上传存储模块内存储的图片资料文件进行调用并传输至所述图片显示模块进行显示；
[0021]所述模型调用模块用于对所述模型导入模块存储的单模态情感比对分析模型进行筛选和调用；
[0022]所述识别结果模块用于将被调用的单模态情感比对模型与上传的图像比对进行对比分析。
[0023]优选的，所述图片显示模块包括LBP显示模块、MTCNN显示模块、灰度图显示模块和/或68关键点显示模块。
[0024]本专利技术第二方面提供一种单模态和多模态组合的情感分析方法，使用上述的单模态和多模态组合的情感分析系统，
[0025]S1、通过身份验证模块进行账号登录并通过密码验证身份，若出现账号“未注册”的提示，便可以点击“注册”按钮，接着按照界面要求填写注册账号名称和密码，注册完成后可返回登录界面进行登录；
[0026]S2、通过资料上传存储模块上传需要分析的图片或视频文件，图片文件自动进入单模态情感分析模块界面，视频文件自动进入多模态情感分析模块；
[0027]S3、通过图像获取模块对资料上传存储模块内存储的图片资料文件进行调用并传输给图片显示模块，然后通过图片显示模块进行显示，随后通过模型调用模块对模型导入模块存储的单模态分析模型进行筛选和调用，识别结果模块通过调用的模型对图片上图像进行感情分析并显示结果；
[0028]S4、通过视频获取模块对资料上传存储模块存储的视频资料文件进行调用并甄别长短视频，短视频直接传输给短视频分析模块进行分析，长视频传输给长视频分析模块进行视频分割，分割后的多个短视频依次传输给短视频分析模块，通过文本显示模块和音/视频显示模块对文本和音频进行可视化显示，然后通过模型调用模块对模型导入模块存储的多模态分析模型进行筛选和调用，识别结果模块通过调用的模型对视频中的要素进行感情分析；
[0029]S5、两种模态中的识别结果模块将分析结果数据传输至数据显示模块进行汇总显示。
[0030]本专利技术第三方面提供一种电子设备，包括通信连接的存储器、处理器和显示设备，所述存储器用于上传资料、比对模型以及实现上述的单模态和多模态组合的情感分析系统中的各模块功能的计算机程序，所述处理器用于执行所述存储器内存储的计算机程序，所述显示设备用于显示处理器的分析结果。
[0031]优选的，所述显示设备可以为电脑显示器或移动设备。
[0032]本专利技术的有益效果在于：本情感分析系统将单模态情感分析与多模态情感分析结合，能够实现对单模态情感分析中分析信息的不足进行有效的补充，能够通过图像、音频进行多要素的比对分析，进而有效降低模型库不完善带来的影响，能够有效提高情感分析结果的正确率。
附图说明
[0033]图1是本专利技术的一种实施方式的整体示意图；
[0034]图2是本专利技术中多模态情感分析模块的一种实施方式的整体示意图；
[0035]图3是本专利技术中单模态情感分析模块的一种实施方式的整体示意图。
具体实施方式
[0036]以下结合附图对本专利技术的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术，并不用于限制本专利技术。
[0037]如图1所示，本专利技术提供一种单模态和多模态组合的情感分析系统，包括资料上传储存模块、单模态情感分析模块、多模态情感分析模块、模型导入模块和数据显示模块，各模块按照功能要求相互之间通信连接。
[0038]其中，资料上传储存模块包括有USB接口，可插接U盘，用于对图片和视频文件进行上传和储存；
[0039]单模态情感分析模块用于对上传的图片进行识别分析；
[0040]多模态情感分析模块用于对视频进行多要素捕捉并识别分析，捕捉要素包括文本要素和音频要素；
[0041]在进行情感分析工作时，单模态情感分析模块和多模态情本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单模态和多模态组合的情感分析系统，其特征在于，包括资料上传储存模块、单模态情感分析模块、多模态情感分析模块、模型导入模块和数据显示模块，各模块之间通信连接；其中，所述资料上传储存模块用于对图片和视频文件进行上传和储存，资料上传储存模块包括有数据接口；所述单模态情感分析模块用于对上传的图片进行识别分析；所述多模态情感分析模块用于对视频进行多要素捕捉并识别分析，以实现对单模态情感分析中分析信息的不足进行有效的补充，捕捉要素包括文本要素和音频要素；所述模型导入模块用于对单模态情感比对模型和多模态情感比对模型进行存储；所述数据显示模块用于对所述单模态情感分析模块和多模态情感分析模块的分析结果数据进行显示。2.根据权利要求1所述的一种单模态和多模态组合的情感分析系统，其特征在于，所述多模态情感分析模块包括视频获取模块、短视频分析模块和长视频分析模块；所述视频获取模块用于对所述资料上传存储模块存储的视频资料文件进行调用并甄别长短视频以将短视频传输给所述短视频分析模块，将长视频传输给所述长视频分析模块；所述长视频分析模块用于对长视频分析分割并将分割后的多个短视频依次传输给所述短视频分析模块；所述短视频分析模块用于对短视频的要素进行捕捉提取并与所述模型导入模块中的多模态情感比对模型进行比对分析，并向分析结果传输至所述数据显示模块。3.根据权利要求2所述的一种单模态和多模态组合的情感分析系统，其特征在于，所述短视频分析模块包括文本显示模块、音/视频显示模块、模型调用模块和识别结果模块；所述文本显示模块用于对短视频中的文本进行显示，所述音/视频显示模块用于对短视频中的声音和画面进行可视化显示；所述模型调用模块用于对所述模型导入模块存储的的多模态情感比对模型进行筛选和调用，所述识别结果模块用于将被调用的多模态情感比对模型与所述文本显示模块和所述音/视频显示模块中的要素进行对比分析。4.根据权利要求1所述的一种单模态和多模态组合的情感分析系统，其特征在于，还包括身份验证模块，用于注册账户、身份验证和账号登录。5.根据权利要求1
‑
4中的任意一项所述的一种单模态和多模态组合的情感分析系统，其特征在于，所述单模态情感分析模块包括图像获取模块、图片显示模块、模型调用模块和识别结果模块；所述图像获取模块用于对所述资料上传存储模块内存储的图片资料文件进...

【专利技术属性】
技术研发人员：吴津金，汪昕昕，姜文慧，杨浩，严可欣，
申请(专利权)人：安徽信息工程学院，
类型：发明
国别省市：