一种基于多模态融合的职业规划辅助方法、设备及介质技术

本申请公开了一种基于多模态融合的职业规划辅助方法、设备及介质，涉及专门适用于行政管理的数据处理领域，方法包括：获取用户对应的专业信息；向用户展示第一图像，得到用户对应的职业兴趣指标；向用户展示第二图像，得到用户对应的职业知识技能指标；获取用户进行自我介绍的视频数据，以得到用户对应的职业性格指标；基于建立的贝叶斯模型，得到用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划。能够更加全面的对用户的真实想法进行识别。并且针对不同的因素，通过用户的生理特征的反应等方式进行获取，规避了用户主观心理想法对识别结果的影响，保证了识别过程的规范化，提高了识别效率。了识别效率。了识别效率。

【技术实现步骤摘要】
一种基于多模态融合的职业规划辅助方法、设备及介质


[0001]本申请涉及专门适用于行政管理的数据处理领域，具体涉及一种基于多模态融合的职业规划辅助方法、设备及介质。

技术介绍

[0002]随着技术的发展，逐渐出现了一些方法，能够对人们的职业进行自动规划。
[0003]然而，这些职业规划的方法中，往往只考虑单一因素或者少量几项因素，并没有对职业规划进行全面考虑，导致最终的规划结果往往并不符合人们的真实情况。

技术实现思路

[0004]为了解决上述问题，本申请提出了一种基于多模态融合的职业规划辅助方法，包括：获取用户对应的专业信息；向所述用户展示第一图像，所述第一图像包含多个类型的职业活动场景，并根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，并根据所述第一反应得到所述用户对应的职业兴趣指标；向所述用户展示第二图像，所述第二图像包含多个类型的职业知识技能场景，并根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，并根据所述第二反应得到所述用户对应的职业知识技能指标；获取所述用户进行自我介绍的视频数据，并根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标；基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划。<br/>[0005]在一个示例中，根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，具体包括：采集所述用户观看所述第一图像时的头部姿态数据、面部表情数据；将所述头部姿态数据、所述面部表情数据进行特征提取，并根据提取到的特征进行特征融合；将融合后的特征输入至预先训练的神经网络模型中，输出得到所述用户对各职业活动的第一反应，所述第一反应包括趋近、回避、无反应中的至少一种。
[0006]在一个示例中，将所述头部姿态数据、所述面部表情数据进行特征提取，并根据提取到的特征进行特征融合，具体包括：对所述头部姿态数据进行位置信息计算，得到其在三维空间中的定位信息，作为所述头部姿态数据对应的特征，所述定位信息包括三个维度的向量；对所述面部表情数据进行类型计算，得到其在积极程度、活跃程度两个维度上的
向量，作为所述面部表情数据对应的特征；分别提取所述头部姿态数据对应的特征、所述面部表情数据对应的特征中各维度的向量，并将提取到的各维度的向量进行融合。
[0007]在一个示例中，根据所述第一反应得到所述用户对应的职业兴趣指标，具体包括：针对同一种类型的职业活动场景对应的第一图像，若所述用户在第一预设数量的第一图像的第一反应均为无反应，则继续向所述用户展示同一种类型的第一图像，直至达到第二预设数量；若所述第二预设数量的第一图像的第一反应均为无反应，则确定所述用户对该职业类型的职业兴趣指标为中等。
[0008]在一个示例中，所述眼动数据包括：瞳孔扩张程度、扫视模式，所述心率数据包括：心率、心率变异性；根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，具体包括：若所述瞳孔扩张程度持续增大、所述心率升高、所述心率变异性降低且所述扫视模式为逐行扫视，则确定所述用户对所述第二图像对应的职业知识技能的第二反应为有难度；若所述瞳孔扩张程度只在第一预设时间短暂增大、所述心率只在第二预设时间短暂升高且所述扫视模式为快速扫视，则确定所述用户对所述第二图像对应的职业知识技能的第二反应为无难度。
[0009]在一个示例中，根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标，具体包括：根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，其中，所述影像特征为基于多维向量在时间序列上的分布特征，所述语音特征基于MFCC算法进行特征提取得到；将所述影像特征和所述语音特征进行特征融合；将融合后的特征输入至随机森林模型中，输出得到所述自我介绍对应的多项人格指标因素，所述随机森林模型的构造参数由预先采集的已标注的样本，与专家经验对应的投票计分之间的吻合度最高时的参数确定；根据所述多项人格指标因素，得到所述用户对应的职业性格指标。
[0010]在一个示例中，基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划，具体包括：在预先设置的数据集中，添加第一行向量，所述第一行向量中包括所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标，并在所述第一行向量中添加职业稳定性、绩效增长率，得到第二行向量；建立贝叶斯推断模型，通过所述第一行向量中的各向量的分布特征，推断得到得到所述职业稳定性、所述绩效增长率的各分数值的概率，并确定概率最高时，所述第一行向量中各指标对应的数值，以根据所述各指标分别对应的数值的结论，提取对应的内容描述，作为推荐的职业岗位。
[0011]在一个示例中，获取用户对应的专业信息，具体包括：获取用户输入的待识别数据；若所述待识别数据为所述用户在预设的多个预设选项中选择出的选项，则根据所述选择出的选项对应的专业类，确定所述用户对应的专业信息；若所述待识别数据为用户输入的文本数据，则对所述文本数据进行噪声消除后，通过模糊匹配以及精确匹配确定所述用户对应的专业信息。
[0012]另一方面，本申请还提出了一种基于多模态融合的职业规划辅助设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：获取用户对应的专业信息；向所述用户展示第一图像，所述第一图像包含多个类型的职业活动场景，并根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，并根据所述第一反应得到所述用户对应的职业兴趣指标；向所述用户展示第二图像，所述第二图像包含多个类型的职业知识技能场景，并根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，并根据所述第二反应得到所述用户对应的职业知识技能指标；获取所述用户进行自我介绍的视频数据，并根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标；基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划。
[0013]另一方面，本申请还提出了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合的职业规划辅助方法，其特征在于，包括：获取用户对应的专业信息；向所述用户展示第一图像，所述第一图像包含多个类型的职业活动场景，并根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，并根据所述第一反应得到所述用户对应的职业兴趣指标；向所述用户展示第二图像，所述第二图像包含多个类型的职业知识技能场景，并根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，并根据所述第二反应得到所述用户对应的职业知识技能指标；获取所述用户进行自我介绍的视频数据，并根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标；基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划。2.根据权利要求1所述的方法，其特征在于，根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，具体包括：采集所述用户观看所述第一图像时的头部姿态数据、面部表情数据；将所述头部姿态数据、所述面部表情数据进行特征提取，并根据提取到的特征进行特征融合；将融合后的特征输入至预先训练的神经网络模型中，输出得到所述用户对各职业活动的第一反应，所述第一反应包括趋近、回避、无反应中的至少一种。3.根据权利要求2所述的方法，其特征在于，将所述头部姿态数据、所述面部表情数据进行特征提取，并根据提取到的特征进行特征融合，具体包括：对所述头部姿态数据进行位置信息计算，得到其在三维空间中的定位信息，作为所述头部姿态数据对应的特征，所述定位信息包括三个维度的向量；对所述面部表情数据进行类型计算，得到其在积极程度、活跃程度两个维度上的向量，作为所述面部表情数据对应的特征；分别提取所述头部姿态数据对应的特征、所述面部表情数据对应的特征中各维度的向量，并将提取到的各维度的向量进行融合。4.根据权利要求2所述的方法，其特征在于，根据所述第一反应得到所述用户对应的职业兴趣指标，具体包括：针对同一种类型的职业活动场景对应的第一图像，若所述用户在第一预设数量的第一图像的第一反应均为无反应，则继续向所述用户展示同一种类型的第一图像，直至达到第二预设数量；若所述第二预设数量的第一图像的第一反应均为无反应，则确定所述用户对该职业类型的职业兴趣指标为中等。5.根据权利要求1所述的方法，其特征在于，所述眼动数据包括：瞳孔扩张程度、扫视模式，所述心率数据包括：心率、心率变异性；根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，具体包括：
若所述瞳孔扩张程度持续增大、所述心率升高、所述心率变异性降低且所述扫视模式为逐行扫视，则确定所述用户对所述第二图像对应的职业知识技能的第二反应为有难度；若所述瞳孔扩张程度只在第一预设时间短暂增大、所述心率只在第二预设时间短暂升高且所述扫视模式为快速扫视，则确定所述用户对所述第二图像对应的职业知识技能的第二反应为无难度。6.根据权利要求1所述的方法，其特征在于，根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标，具体包括：根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，其中，所述影像特征为基于多维向量在时间序列上的分布特征，所述语音特征基于MFCC算法进行特征提取得到；将所述影像特征和所述语音特征进行特征融合；将融合后的特征输入至随机森林模型中，输出得到所述自我介绍对应的多项人格指标因素，所述随机森林模型的构造参...

【专利技术属性】
技术研发人员：宋业臻，肖维斌，韩伟，曲继新，
申请(专利权)人：山东心法科技有限公司，
类型：发明
国别省市：