【技术实现步骤摘要】
本专利技术涉及大语言模型幻觉检测，具体为结合信息图与因果推理的中文大语言模型幻觉检测技术。
技术介绍
1、大语言模型幻觉检测是针对大语言模型(llm)生成内容的一种评估技术，旨在识别并处理模型生成的与真实世界不符或对用户指令不忠实的内容。在输入幻觉检测方面，通过多次评估同一问题的答案的差异，若差异较大则表明模型回答的不确定性较高，可能存在幻觉。而在上下文冲突幻觉检测上，则是通过评估上下文与模型回答的一致性，不一致则指示幻觉可能存在；然而，现有的大语言模型在对中文场景的适配及对文本的深层次结构表示等方面还具有一些挑战或不足：
2、(1)对中文文本的表示不够精准
3、现有的幻觉检测方法主要针对英文大语言模型设计，但中文在词汇颗粒度处理和句法结构分析上与英文有显著不同。比如，在词颗粒度选择上，英文处理主要是词组切分，而中文因缺少词间分隔符，使得语义分析更为复杂。业界对中文分词尚无统一标准，不同语料库的切分标准各异，这影响了词义的准确表达，进而影响中文大语言模型幻觉检测效果。在句子结构方面，汉语更注重意义联系而非形式，句子结构较为松散，不依赖虚词作为语义连接剂，而是靠词序隐含句子结构，这与英文的形式严谨性形成对比。因此，基于表层语义的幻觉检测方法在中文语境中的效果不如英文。
4、(2)多关注局部对比，缺乏全局视角
5、现有方法通常基于句子比较来计算得分，然后将所有句子得分累加以得出整体评估。例如，先判断单句的幻觉概率，再利用贝叶斯网络模型将这些概率相乘得到整体文本的幻觉可能性。这种做法假设
6、(3)现有方法采用的文本表征技术难以完备地体现文本复杂的语义结构
7、现有的幻觉检测模型对文本的表示往往通过word2vec等工具将文字转换成数值型向量，并利用bert等模型把这些向量组合起来，以此构建对整个句子或文本的表征。然而，这种方法主要捕捉的是句子的表层特征，如上下文关系，而对于识别文本中实体间的复杂联系、进行逻辑推理和理解隐含意义则不够充分。尤其对于长篇文本的处理，由于bert模型存在输入长度限制，常常需要采取截断和池化等技术，这无疑会丢失一部分文本信息。这种缺陷导致了现有幻觉检测方法在理解文本深层含义和结构方面存在局限性，特别是在处理那些需要细致分析上下文、理解抽象概念和追踪实体关系才能揭露错误或虚构内容的场景下，
8、为此提出了结合信息图与因果推理的中文大语言模型幻觉检测技术。
技术实现思路
1、针对现有技术的不足，本专利技术提供结合信息图与因果推理的中文大语言模型幻觉检测技术，以解决
技术介绍
问题。
2、为实现上述目的，本专利技术提供如下技术方案：结合信息图与因果推理的中文大语言模型幻觉检测技术，包括以下步骤：
3、步骤一：基于中文文本提取多视角信息图
4、基于k-s检验的关键中文实体选取：
5、接收包含m个字的中文文本作为输入，对中文文本进行分词和词性标注，采用对称条件概率识别出文本中的所有实体a'，根据实体的重要程度筛选出关键实体集合a，具体来说：
6、基于文本语义重要性采用多样的统计指标来评估初步实体集合a中每个实体的重要程度，并据此挑选出基于文本语义重要性的实体集合a”；
7、采用k-s检验来确定剩余实体(即a-a”)中与幻觉检测相关性较强的实体，形成实体集合a”'；
8、最终，将关键实体集合a定义为a”和a”'的并集，即a＝a”∪a”'。
9、多视角信息图提取
10、基于获得的关键实体集合a，采用基于规则的方法提取文本语义中关键实体间多个方面的因果关系并输出一个因果有向无环图，因果关系包括实体-数量、实体-时间、实体-动作和实体-动作间，将实体-数量、实体-时间、实体-动作和实体-因果的因果有向无环图相同的节点进行合并，获得总体的信息图g＝(v，e)，信息图g中的节点v∈v代表关键实体，边e∈e代表一对实体间是否有关；
11、节点的属性包括节点的语义角色标注标签和节点的初始表示，语义角色标注标签采用ltp工具包实现，采用trans-e将边的属性转化为节点的属性，从而形成节点的初始表示，作为节点属性的一个组成部分。
12、步骤二，基于因果视角下图对比学习的信息图表示
13、因果视角下数据增广
14、应用数据增广技术，依据结构因果模型引入因果视角，生成不破坏信息图因果关系的增广数据，包括正例视图和负例视图；
15、采用gcn编码器将信息图的节点属性与结构特性有效地映射至一个数值空间，基于因果视角下的数据增广，利用该数据训练gcn编码器，gcn编码器对信息图进行编码，生成节点表示。
16、步骤三，基于多层次文本表示的忠实性幻觉检测
17、基于提示改写的输入型幻觉检测
18、基于节点表示，进行输入型幻觉检测，通过改写提示词获取大型语言模型的多个候选答案，利用训练好的lstm模型，根据表层语义和深层语义获取候选答案的表示，计算表示之间的余弦相似度，量化模型回答的不确定性，实现输入型幻觉检测；
19、多颗粒度的上下文冲突幻觉检测
20、基于节点表示，进行上下文冲突幻觉检测，从句子级和文本级两种颗粒度检测模型回答与提示文本的一致性，利用信息图提取方法和基于因果视角下的图对比学习技术获取回答和提示的全局表示，通过计算余弦相似度衡量一致性，判定是否存在上下文冲突幻觉。
21、优选地，在基于中文文本提取多视角信息图的过程中，进一步包括对文本进行预处理步骤，预处理步骤包括去除文本中的停用词、标点符号以及进行文本规范化处理，以提高后续实体识别和关系提取的准确性。
22、优选地，在采用对称条件概率识别文本中所有实体的步骤中，对称条件概率的计算结合了实体在文本中的出现频率、位置信息以及上下文语义，以更全面地评估实体的显著性。
23、优选地，在基于文本语义重要性采用多样的统计指标来评估初步实体集合a中每个实体的重要程度时，统计指标包括但不限于实体的tf-idf值、词频、逆文档频率以及在文本中的分布位置，以确保能够准确筛选出对幻觉检测具有重要性的实体。
24、优选地，在数据增广时，根据结构因果模型生成的partial ancestral graph(pag)，区分因果变量和非因果变量，仅扰动非因果因素，同时保持因果因素不变，以生成保持因果一致性的增广数据。
25、优选地，实体间的因果关系发现具体采用gfci算法实现，gfci算法包括fci算法和fges算法，利用fges算法得到的结果作为初始图，再使用fci算法的临界阶段通过条件独立性测试对该图进行优化，移除不必要的边。
26、优选地，本文档来自技高网...
【技术保护点】
1.结合信息图与因果推理的中文大语言模型幻觉检测技术，其特征在于，包括以下步骤：
2.根据权利要求1所述的结合信息图与因果推理的中文大语言模型幻觉检测技术，其特征在于，在基于中文文本提取多视角信息图的过程中，进一步包括对文本进行预处理步骤，预处理步骤包括去除文本中的停用词、标点符号以及进行文本规范化处理，以提高后续实体识别和关系提取的准确性。
3.根据权利要求1所述的结合信息图与因果推理的中文大语言模型幻觉检测技术，其特征在于，在采用对称条件概率识别文本中所有实体的步骤中，对称条件概率的计算结合了实体在文本中的出现频率、位置信息以及上下文语义，以更全面地评估实体的显著性。
4.根据权利要求1所述的结合信息图与因果推理的中文大语言模型幻觉检测技术，其特征在于，在基于文本语义重要性采用多样的统计指标来评估初步实体集合A中每个实体的重要程度时，统计指标包括但不限于实体的TF-IDF值、词频、逆文档频率以及在文本中的分布位置，以确保能够准确筛选出对幻觉检测具有重要性的实体。
5.根据权利要求1所述的结合信息图与因果推理的中文大语言模型幻觉检
6.根据权利要求1所述的结合信息图与因果推理的中文大语言模型幻觉检测技术，其特征在于，实体间的因果关系发现具体采用GFCI算法实现，GFCI算法包括FCI算法和FGES算法，利用FGES算法得到的结果作为初始图，再使用FCI算法的临界阶段通过条件独立性测试对该图进行优化，移除不必要的边。
7.根据权利要求1所述的结合信息图与因果推理的中文大语言模型幻觉检测技术，其特征在于，为了获取A″，采用以下指标衡量实体的重要性：
8.根据权利要求1所述的结合信息图与因果推理的中文大语言模型幻觉检测技术，其特征在于，在所述基于提示改写的输入型幻觉检测中，运用强化学习训练一个提示词自动重写的系统，以对提示词进行改写，同时，对表层语义表示时，先对回答进行断句，获取其子句的序列，再使用Chinese-BERT-wwm进行编码获得文档的表层语义。
...【技术特征摘要】
1.结合信息图与因果推理的中文大语言模型幻觉检测技术，其特征在于，包括以下步骤：
2.根据权利要求1所述的结合信息图与因果推理的中文大语言模型幻觉检测技术，其特征在于，在基于中文文本提取多视角信息图的过程中，进一步包括对文本进行预处理步骤，预处理步骤包括去除文本中的停用词、标点符号以及进行文本规范化处理，以提高后续实体识别和关系提取的准确性。
3.根据权利要求1所述的结合信息图与因果推理的中文大语言模型幻觉检测技术，其特征在于，在采用对称条件概率识别文本中所有实体的步骤中，对称条件概率的计算结合了实体在文本中的出现频率、位置信息以及上下文语义，以更全面地评估实体的显著性。
4.根据权利要求1所述的结合信息图与因果推理的中文大语言模型幻觉检测技术，其特征在于，在基于文本语义重要性采用多样的统计指标来评估初步实体集合a中每个实体的重要程度时，统计指标包括但不限于实体的tf-idf值、词频、逆文档频率以及在文本中的分布位置，以确保能够准确筛选出对幻觉检测具有重要性的实体。
5.根据权利要求1所述的结合信息图与因果推理的中文大语言模型幻...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。