【技术实现步骤摘要】
本专利技术涉及谎言分析，更具体地说，本专利技术涉及多模态自然语言及异常体征分析的智能检测系统及方法。
技术介绍
1、现有技术中利用多道记录仪进行测谎，这种设备能够同时记录心率、血压、呼吸频率和皮肤电导率，随着计算机技术的进步，计算机辅助测谎系统的出现使得测量和分析生理数据变得更加精确，显著提高了测谎的效率和准确性，进入数字化时代后，数据的处理变得更加智能化和自动化，机器学习和人工智能技术的快速发展进一步推动了测谎技术的革新，例如，现有技术已经出现了通过多模态数据结合机器学习技术进行测谎。
2、例如，公开号为cn112329438a的中国专利申请提供了基于域对抗训练的自动谎言检测方法及系统，该专利通过多模态特征提取，抽取文本、音频和面部特征表示，以全面分析说谎行为，然后，利用自适应注意力机制进行多模态特征融合，并通过双向循环神经网络捕获对话中的上下文信息，以提高谎言检测准确性，最后，采用域对抗训练方法提取说话人无关的谎言特征，并通过训练后的分类器进行谎言水平预测。
3、尽管现有技术通过多模态数据和机器学习方法有效提升了谎言检测的精度，但这些技术仍存在一个局限性，即无法根据实际用户的特征或具体场景，动态调整不同模态数据之间的注意力权重，这导致在不同的用户或情境下，某些模态可能会被过度重视或忽视，从而影响谎言检测的最终效果和准确性。
4、鉴于此，本专利技术提出多模态自然语言及异常体征分析的智能检测系统及方法以解决上述问题。
技术实现思路
1、为了克服现
2、为实现上述目的，本专利技术提供如下技术方案：
3、第一方面，提供了多模态自然语言及异常体征分析的智能检测方法，包括：
4、获取检测过程中受试者的对话文本信息、生理检测信息和面部图像信息，对话文本信息包括m组子文本信息，每组子文本信息存在对应的子检测信息和子图像信息，所述子检测信息属于生理检测信息，所述子图像信息属于面部图像信息；
5、遍历m组子文本信息，将子文本信息映射至数据空间中，以此构建概率二叉树，基于概率二叉树确定第一概率系数；
6、基于子文本信息对应的子检测信息确定第二概率系数，基于子文本信息对应的子图像信息确定第三概率系数，根据第一概率系数、第二概率系数和第三概率系数构建权重分配序列；
7、基于对话文本信息、生理检测信息、面部图像信息以及权重分配序列确定检测结果。
8、进一步地，获取每组子文本信息对应的子检测信息和子图像信息的方法包括：
9、将第n组子文本信息的开始时刻作为第一目标时刻，将第n＋1组子文本信息的开始时刻作为第二目标时刻，以第一目标时刻和第二目标时刻构建目标时间段，根据目标时间段对生理检测信息进行分割，获得s组子检测信息，根据目标时间段对面部图像信息进行分割，获得s组子图像信息，所述目标时间段内的子文本信息、子检测信息和子图像信息相对应，0＜n＜s。
10、进一步地，将子文本信息映射至数据空间中，以此构建概率二叉树的方法包括：
11、将子文本信息作为概率二叉树的根节点，将子文本信息中每一层是否出现预设测谎关键词作为切割特征，基于切割特征将根节点分为左右两个子节点，递归地对每个子节点进行切割，直到每个子节点无法继续切割为止，以此构建概率二叉树。
12、进一步地，基于概率二叉树确定第一概率系数的方法包括：
13、根据深度优先搜索算法获取概率二叉树中各子二叉树的实时高度值，基于各子二叉树的实时高度值进行加权求和，得到综合高度值，将综合高度值作为第一概率系数。
14、进一步地，所述子检测信息包括实时呼吸频率值、实时血压值以及实时脉搏频率值，基于子文本信息对应的子检测信息确定第二概率系数的方法包括：根据实时呼吸频率值、实时血压值以及实时脉搏频率值计算得到第二概率系数。
15、进一步地，子图像信息为眼部特写图像，基于子文本信息对应的子图像信息确定第三概率系数的方法包括：
16、基于计算机视觉获取眼部特写图像中第一眼部信息和第二眼部信息，基于第一眼部信息计算眼睛长宽比，计算眼睛长宽比与预设标准长宽比之间的差值绝对值，基于第二眼部信息计算瞳孔面积比，将差值绝对值和瞳孔面积比进行加权求和，得到第三概率系数。
17、进一步地，所述第一眼部信息包括上眼睑内侧坐标、上眼睑外侧坐标、下眼睑内侧坐标、下眼睑外侧坐标、内眼角坐标和外眼角坐标，基于第一眼部信息计算眼睛长宽比的方法包括：根据上眼睑内侧坐标、上眼睑外侧坐标、下眼睑内侧坐标、下眼睑外侧坐标、内眼角坐标和外眼角坐标计算得到眼睛长宽比。
18、进一步地，根据第一概率系数、第二概率系数和第三概率系数构建权重分配序列的方法包括：
19、遍历m组子文本信息以及对应的子检测信息和子图像信息，确定第一概率系数大于预设第一系数阈值的第一次数，确定第二概率系数大于预设第二系数阈值的第二次数，确定第三概率系数大于预设第三系数阈值的第三次数，计算第一次数、第二次数以及第三次数之和，作为次数总和，将第一次数与次数总和之比作为对话文本信息的第一权重，将第二次数与次数总和之比作为生理检测信息的第二权重，将第三次数与次数总和之比作为面部图像信息的第三权重，将第一权重、第二权重和第三权重作为权重分配序列。
20、进一步地，确定检测结果的方法包括：
21、将对话文本信息、生理检测信息、面部图像信息以及权重分配序列输入到预构建的机器学习模型中，获得检测结果；
22、机器学习模型的构建方法包括：
23、获取样本数据集，所述样本数据集中包括历史对话文本信息、历史生理检测信息、历史面部图像信息、历史权重分配序列和历史检测结果；
24、将样本数据集划分为样本训练集和样本测试集，构建回归网络；
25、以样本训练集中的历史对话文本信息、历史生理检测信息、历史面部图像信息和历史权重分配序列作为回归网络的输入数据，以样本训练集中的历史检测结果作为回归网络的输出数据，对回归网络进行训练，得到用于预测初始检测结果的初始回归网络；
26、利用样本测试集对初始回归网络进行测试，输出小于预设误差值的初始回归网络作为机器学习模型。
27、第二方面，提供了多模态自然语言及异常体征分析的智能检测系统，其用于实现上述的多模态自然语言及异常体征分析的智能检测方法，包括：
28、数据获取模块：用于获取检测过程中受试者的对话文本信息、生理检测信息和面部图像信息，对话文本信息包括m组子文本信息，每组子文本信息存在对应的子检测信息和子图像信息，所述子检测信息属于生理检测信息，所述子图像信息属于面部图像信息；
29、第一处理模块：用于遍历m组子文本信息，将子文本信息映射至数据空间中，以此构建概率二叉树，基于概率二叉树确定第一概率系数；
30、第二处理模本文档来自技高网...
【技术保护点】
1.多模态自然语言及异常体征分析的智能检测方法，其特征在于，包括：
2.根据权利要求1所述的多模态自然语言及异常体征分析的智能检测方法，其特征在于，获取每组子文本信息对应的子检测信息和子图像信息的方法包括：
3.根据权利要求1所述的多模态自然语言及异常体征分析的智能检测方法，其特征在于，所述第一眼部信息包括上眼睑内侧坐标、上眼睑外侧坐标、下眼睑内侧坐标、下眼睑外侧坐标、内眼角坐标和外眼角坐标，基于第一眼部信息计算眼睛长宽比的方法包括：根据上眼睑内侧坐标、上眼睑外侧坐标、下眼睑内侧坐标、下眼睑外侧坐标、内眼角坐标和外眼角坐标计算得到眼睛长宽比。
4.根据权利要求1所述的多模态自然语言及异常体征分析的智能检测方法，其特征在于，所述通过统计第一、第二、第三概率系数分别超过各自阈值的次数并计算总次数，将每种概率系数的次数占比作为对应概率系数的权重，生成权重分配序列，具体包括：
5.根据权利要求1所述的多模态自然语言及异常体征分析的智能检测方法，其特征在于，所述机器学习模型的构建方法包括：
6.多模态自然语言及异常体征分析的智能检
...【技术特征摘要】
1.多模态自然语言及异常体征分析的智能检测方法，其特征在于，包括：
2.根据权利要求1所述的多模态自然语言及异常体征分析的智能检测方法，其特征在于，获取每组子文本信息对应的子检测信息和子图像信息的方法包括：
3.根据权利要求1所述的多模态自然语言及异常体征分析的智能检测方法，其特征在于，所述第一眼部信息包括上眼睑内侧坐标、上眼睑外侧坐标、下眼睑内侧坐标、下眼睑外侧坐标、内眼角坐标和外眼角坐标，基于第一眼部信息计算眼睛长宽比的方法包括：根据上眼睑内侧坐标、上眼睑外侧坐标、下眼睑内侧坐标、下眼睑外侧坐标、内眼角坐标和外眼角坐标...
【专利技术属性】
技术研发人员：汪涛，刘世进，杨煜卿，
申请(专利权)人：上海宇丰电子信息科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。