【技术实现步骤摘要】
本专利技术涉及信息，特别涉及一种基于多种模式融合的驾驶人员情绪识别方法及系统。
技术介绍
1、随着科技的发展和城市化的进程，道路上的车辆越来越多，而近年来，车辆智能化也发展迅速。随着路况的复杂化和交通的拥堵化，驾驶人员的状态和情绪对于驾驶人员以及乘客安全、道路安全具有重要影响。
2、因此，对于驾驶人员的情绪的识别和监测对于个人安全和道路安全具有重要意义，另外，对于驾驶人员的情绪的识别和监测有助于提供相关的安全服务以及个性化的推荐和服务。
3、目前，现有的对于驾驶人员的情绪识别方法主要分为以下两种：
4、第一种方法为单模式识别，例如，单一的基于视觉、语音或文本进行情绪识别，这样在特定的领域有较好的效果，例如，在光线比较好的白天并且被拍摄人的角度在摄像头的可视角之内，基于视觉的情绪识别有较好的效果。而对于语音对话的情况，基于文本和语音的识别有较好的效果；
5、第二种方法为二融合模式，例如使用视觉和车辆数据相融合的情绪识别，或者文本和语音相融合的情绪识别，提高了部分的召回和正确率。
6、应该注意，上面对技术背景的介绍只是为了方便对本专利技术的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本专利技术的
技术介绍
部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
技术实现思路
1、但是，单一模式的情绪识别会受限于单一模式的适用范围，例如在晚上，基于视觉的识别效果较差，在杂音比较大的环境中
2、为了解决上述现有技术中的至少一个问题，本专利技术实施例提供了一种基于多种模式融合的驾驶人员情绪识别方法及系统。通过多重模态识别和融合，使得单模的错误得到多重修正，并且最终融合结果能够覆盖单模识别没有识别结果的各个时刻，能够提供充分利用各种单模的优点并避免各种单模的缺点的、全天候的情绪识别的解决方案。
3、根据本专利技术实施例的第一方面，提供一种基于多种模式融合的驾驶人员情绪识别方法，所述方法包括：将基于语音识别的第一情绪识别结果与基于文本识别的第二情绪识别结果进行融合，得到第一融合结果；对基于视觉识别的第三情绪识别结果进行加权后与所述第一融合结果进行融合，得到第二融合结果；根据基于车辆数据的第四情绪识别结果对所述第二融合结果进行修正，得到第一处理结果；以及根据基于生物识别的第五情绪识别结果对所述第一处理结果进行惩罚或奖励，得到第二处理结果，并将所述第二处理结果作为驾驶人员的情绪识别结果。
4、根据本专利技术实施例的第二方面，其中，所述方法还包括：通过对在车内采集的语音信号进行语音识别，得到所述第一情绪识别结果；通过对在车内采集的语音信号和/或驾驶人员使用的终端设备中的交互信息进行文本识别，得到所述第二情绪识别结果；通过对采集的驾驶人员图像进行视觉识别，得到所述第三情绪识别结果；通过对采集的车辆数据进行车辆识别，得到所述第四情绪识别结果；以及通过对采集的驾驶人员的生理参数进行生物识别，得到所述第五情绪识别结果。
5、根据本专利技术实施例的第三方面，其中，所述将基于语音识别的第一情绪识别结果与基于文本识别的第二情绪识别结果进行融合，包括：基于腐败机制，使用第一权重将基于语音识别的第一情绪识别结果与基于文本识别的第二情绪识别结果进行融合，得到第一融合结果，所述第一权重随着时间的推移而减小。
6、根据本专利技术实施例的第四方面，其中，所述对基于视觉识别的第三情绪识别结果进行加权后与所述第一融合结果进行融合，得到第二融合结果，包括：使用第二权重对基于视觉识别的第三情绪识别结果进行加权后与所述第一融合结果进行融合，所述第二权重是以e为底且以所述第三情绪识别结果为变量的指数函数。
7、根据本专利技术实施例的第五方面，其中，所述根据基于车辆数据的第四情绪识别结果对所述第二融合结果进行修正，得到第一处理结果，包括：基于惩罚机制，从所述第二融合结果中减去根据所述第四情绪识别结果确定的惩罚项，得到第一处理结果。
8、根据本专利技术实施例的第六方面，其中，所述惩罚项对于所述第四情绪识别结果中置信度较小的情绪识别结果有效，对于所述第四情绪识别结果中置信度较大的情绪识别结果无效。
9、根据本专利技术实施例的第七方面，其中，所述第四情绪识别结果包括有情绪和无情绪这两种情绪识别结果。
10、根据本专利技术实施例的第八方面，其中，所述根据基于生物识别的第五情绪识别结果对所述第一处理结果进行惩罚或奖励，得到第二处理结果，包括：基于报童模型，根据所述第五情绪识别结果与所述第一处理结果是否相同，确定对所述第一处理结果进行惩罚或奖励，得到第二处理结果。
11、根据本专利技术实施例的第九方面，其中，当所述第五情绪识别结果与所述第一处理结果相同时，将所述第一处理结果除以预设值，以进行惩罚；当所述第五情绪识别结果与所述第一处理结果不同时，将所述第一处理结果乘以所述预设值，以进行奖励，所述预设值大于1。
12、根据本专利技术实施例的第十方面，其中，所述预设值为2。
13、根据本专利技术实施例的第十一方面，提供一种基于多种模式融合的驾驶人员情绪识别系统，所述系统包括：语音文本融合器，其将基于语音识别的第一情绪识别结果与基于文本识别的第二情绪识别结果进行融合，得到第一融合结果；三模融合器，其对基于视觉识别的第三情绪识别结果进行加权后与所述第一融合结果进行融合，得到第二融合结果；车辆辅助决策器，其根据基于车辆数据的第四情绪识别结果对所述第二融合结果进行修正，得到第一处理结果；以及生物识别决策器，其基于生物识别的第五情绪识别结果对所述第一处理结果进行惩罚或奖励，得到第二处理结果，并将所述第二处理结果作为驾驶人员的情绪识别结果。
14、根据本专利技术实施例的第十二方面，其中，所述系统还包括：第一识别部，其通过对在车内采集的语音信号进行语音识别，得到所述第一情绪识别结果；第二识别部，其通过对在车内采集的语音信号和/或驾驶人员使用的终端设备中的交互信息进行文本识别，得到所述第二情绪识别结果；第三识别部，其通过对采集的驾驶人员图像进行视觉识别，得到所述第三情绪识别结果；第四识别部，其通过对采集的车辆数据进行车辆识别，得到所述第四情绪识别结果；以及第五识别部，其通过对采集的驾驶人员的生理参数进行生物识别，得到所述第五情绪识别结果。
15、根据本专利技术实施例的第十三方面，其中，所述语音文本融合器基于腐败机制，使用第一权重将基于语音识别的第一情绪识别结果与基于文本识别的第二情绪识别结果进行融合，得到第一融合结果，所述第一权重随着时间的推移而减小。
16、根据本专利技术实施例的第十四方面，其中，所述三模融合器使用第二权重对基于视觉识别的第三情绪识别结果进行加权后与所述第一融合结果进行本文档来自技高网...
【技术保护点】
1.一种基于多种模式融合的驾驶人员情绪识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1或2所述的方法，其特征在于，所述将基于语音识别的第一情绪识别结果与基于文本识别的第二情绪识别结果进行融合，包括：
4.根据权利要求1或2所述的方法，其特征在于，所述对基于视觉识别的第三情绪识别结果进行加权后与所述第一融合结果进行融合，得到第二融合结果，包括：
5.根据权利要求1或2所述的方法，其特征在于，所述根据基于车辆数据的第四情绪识别结果对所述第二融合结果进行修正，得到第一处理结果，包括：
6.根据权利要求5所述的方法，其特征在于，
7.根据权利要求6所述的方法，其特征在于，
8.根据权利要求1或2所述的方法，其特征在于，所述根据基于生物识别的第五情绪识别结果对所述第一处理结果进行惩罚或奖励，得到第二处理结果，包括：
9.根据权利要求8所述的方法，其特征在于，
10.根据权利要求9所述的方法，其特征在于，
12.根据权利要求11所述的系统，其特征在于，所述系统还包括：
13.根据权利要求11或12所述的系统，其特征在于，
14.根据权利要求11或12所述的系统，其特征在于，
15.根据权利要求11或12所述的系统，其特征在于，
16.根据权利要求15所述的系统，其特征在于，
17.根据权利要求16所述的系统，其特征在于，
18.根据权利要求11或12所述的系统，其特征在于，
19.根据权利要求18所述的系统，其特征在于，
20.根据权利要求19所述的系统，其特征在于，
...【技术特征摘要】
1.一种基于多种模式融合的驾驶人员情绪识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1或2所述的方法，其特征在于，所述将基于语音识别的第一情绪识别结果与基于文本识别的第二情绪识别结果进行融合，包括：
4.根据权利要求1或2所述的方法，其特征在于，所述对基于视觉识别的第三情绪识别结果进行加权后与所述第一融合结果进行融合，得到第二融合结果，包括：
5.根据权利要求1或2所述的方法，其特征在于，所述根据基于车辆数据的第四情绪识别结果对所述第二融合结果进行修正，得到第一处理结果，包括：
6.根据权利要求5所述的方法，其特征在于，
7.根据权利要求6所述的方法，其特征在于，
8.根据权利要求1或2所述的方法，其特征在于，所述根据基于生物识别的第五情绪识别结果对所述第一处理结果...
【专利技术属性】
技术研发人员：张积存，高睿，冯佳伟，李树友，马列，
申请(专利权)人：海纳新思智行服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。