一种基于量子熵的幽默特征提取方法技术

本发明专利技术属于计算语言模型和量子信息论的技术领域，具体涉及一种基于量子熵的幽默特征提取方法，包括密度矩阵的文本表示，建模语义的不确定性；基于密度矩阵的量子熵特征提取，将量子熵作为特征用于幽默识别的特征。本发明专利技术通过幽默不协调理论和量子理论的数学框架建模文本表示，用量子熵作为幽默特征，解决可解释的幽默特征提取问题。释的幽默特征提取问题。释的幽默特征提取问题。

【技术实现步骤摘要】
一种基于量子熵的幽默特征提取方法


[0001]本专利技术属于计算语言模型和量子信息论的
，具体涉及一种基于量子熵的幽默特征提取方法。

技术介绍

[0002]幽默是人类特有的一种交流艺术，在人际交往中发挥着重要作用。幽默可以化解聊天中的尴尬氛围，消除沟通中的障碍。幽默是人类所拥有的最复杂的认知属性，即使是一个简单的笑话也同时使用了语言技能、心理理论、抽象思维和社会感知。一些研究发现，适当运用幽默还可以有效吸引听众的注意力、强化对学习内容的记忆、提升人与人之间的吸引力、增强友谊、提高同龄人和商业伙伴之间的信任。
[0003]随着人工智能的发展，越来越多的人机交互系统走进了人们的生活。比如微软的小冰、脸书的Blender和谷歌的Meena等。它们大多以文本、图像和语音等多媒体信息为载体，而文本是交互系统最为核心的载体，识别文本的情感和内涵对交互系统尤其重要。在过去，研究者们花费大量精力研究计算机理解情感的方式和原理。而幽默本质上是一种在人类沟通过程中传达的使人发笑的隐性情感。虽然幽默在人际交往中普遍存在，但由于其是一个复杂的认知过程，所以可能因为个人认知水平的不同而不同。幽默的产生机制和理解机制相较于普通的情感更复杂。
[0004]现有幽默识别的研究方法通常分为两类：基于特征工程的方法和基于深度学习的方法。基于特征工程的方法将语音特征、语义距离和情感关联作为幽默识别的特征。基于深度学习的方法利用神经网络强大的能力将幽默文本用神经网络分类模型进行训练。目前，基于幽默理论的研究方法较少，但由于其具有良好的可解释性，可以指导研究者如何改进模型。设计基于幽默理论的计算特征有助于发现模型潜在的设计问题。要想通过计算的方式识别幽默，首先要了解幽默的产生逻辑。目前，学界公认的有三种幽默理论，分别是基于心理学解释的调剂理论(Relief Theory)、基于哲学观点的优越理论(Superiority Theory)和心理学与哲学领域都广泛认可的不协调理论(Incongruity Theory)[9]。
[0005]近年来，随着量子信息论(Quantum Information Theory)和量子理论(Quantum Theory)与人工智能的交叉学科建设。研究者开始用量子理论的数学框架解决信息检索、语言模型和量子认知等领域的问题。并尝试解释自然语言处理中存在的量子现象。量子理论逐渐成为机器学习乃至深度学习的一个可解释性框架。
[0006]量子语言模型是一种文本建模方法，旨在将文本信息建模到希尔伯特空间中，用量子理论来解释神经网络框架。早在20世纪30年代，狄拉克给出量子力学的统一的数学表述形式。随后冯
·
诺依曼通过探索量子力学的数学结构将量子理论公理化，用严谨的数学来解释量子理论。在量子理论中，密度矩阵(Density Matrix)是用于描述混合态量子系统物理性质的算符，其数学形式由冯
·
诺依曼给出。
[0007]量子理论被Van Rijsbergen首次应用于信息检索模型中，将信息检索基本元素以几何的方式表示在Hilbert空间中。在这项工作的启发下，大量受量子启发的语言模型被提
出。其中最著名的工作是Sordoni等人提出的量子语言模型(Quantum Language Model，QLM)，利用量子理论的概率模型设计了一种新的术语依赖关系建模方法，单个术语和复合依赖术语都被建模为向量空间中的投影，即概率空间中的基本事件。特别地，复合依赖术语被表示为一个叠加事件，文档和查询表示为投影序列封装在密度矩阵中。然后用密度矩阵之间的负VN散度表示查询和文档之间的相关性得分。这种表示依赖关系的好处是在术语增加的时候无需人工扩展术语空间。Sordoni和Nie使用量子理论的数学框架对信息检索的向量空间模型和语言模型进行了联合分析，并阐明了密度矩阵是一种通用的表示工具。在向量空间模型和语言模型中，文档和查询都可以通过密度矩阵表示。随后，Sordoni等人考虑了语义共性以及它们在语篇中的复杂句法关系，使用量子相对熵定义了文档相对于查询的潜在概念空间的检索分数。Zhang等人在问答任务中将问题和答案分别表示为密度矩阵，并使用密度矩阵的乘积构建联合表示，用联合矩阵的对角元素作为匹配特征。
[0008]在量子信息论中，冯
·
诺依曼将经典香农熵扩展到量子情况，定义了冯
·
诺伊曼熵。冯
·
诺依曼熵还在量子信息论框架下以量子条件熵和量子相对熵等形式来表征纠缠的熵。此外，Sagawa等人介绍了量子相对熵并证明了量子相对熵的非负性。Brandsen等人使用信息论原理在公理化方法中表征条件量子熵。
[0009]但现有的幽默特征提取技术存在可解释性不足的问题。

技术实现思路

[0010]本专利技术的目的在于：针对现有技术的不足，提供一种基于量子熵的幽默特征提取方法，通过幽默不协调理论和量子理论的数学框架建模文本表示，用量子熵作为幽默特征，解决可解释的幽默特征提取问题。
[0011]为了实现上述目的，本专利技术采用如下技术方案：
[0012]一种基于量子熵的幽默特征提取方法，包括密度矩阵的文本表示，建模语义的不确定性；基于密度矩阵的量子熵特征提取，将量子熵作为特征用于幽默识别的特征。
[0013]优选的，幽默特征包括不确定性、蕴含性和条件不确定性，所述不确定性用于描述“铺垫”句和“笑点”句的语义不确定程度，所述蕴含性用于描述“铺垫”句与“笑点”句的语义之间的蕴含程度，所述条件不确定性用于描述“铺垫”句和“笑点”句的语义之间的条件关系。
[0014]优选的，密度矩阵的文本表示，包括：
[0015]将文本分成“铺垫”句和“笑点”句两个部分表示；
[0016]将“铺垫”句和“笑点”句表示为希尔伯特空间中的密度矩阵。
[0017]需要说明的是：所述密度矩阵的文本表示，将文本分成“铺垫”句和“笑点”句两个部分文本表示是后续特征计算的基础，合理的文本表示可以确保后续特征的有效性。按照不协调理论，需要考察“铺垫”句和“笑点”句之间的语义差异，所以需要对“铺垫”句和“笑点”句分别嵌入。本专利技术对“铺垫”句和“笑点”句采用同样的表示方法嵌入到希尔伯特空间中，使用实数域的希尔伯特空间而不是复数域的希尔伯特空间。使用狄拉克符号，一个单位向量和它的转置分别被表示成|u>和<u|。对于每个单词用如下方式单位化：
[0018][0019]其中‖
·
‖表示L2范数。将单位化后的单词向量视为希尔伯特空间中的叠加态，进而将单词表示成希尔伯特空间中的量子基本事件|w
i
><w
i
|。用密度矩阵建模一个句子s(一个“铺垫”句或一个“笑点”句)中单词间的依赖关系，将单词对应的基本事件以概率组合。将每个句子被表示为一个n乘n的密度矩阵ρ：
[0020][0021]其中p
i
表示叠加概率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于量子熵的幽默特征提取方法，其特征在于，包括：密度矩阵的文本表示，建模语义的不确定性；基于密度矩阵的量子熵特征提取，将量子熵作为特征用于幽默识别的特征。2.如权利要求1所述的一种基于量子熵的幽默特征提取方法，其特征在于：幽默特征包括不确定性、蕴含性和条件不确定性，所述不确定性用于描述“铺垫”句和“笑点”句的语义不确定程度，所述蕴含性用于描述“铺垫”句与“笑点”句的语义之间的蕴含程度，所述条件不确定性用于描述“铺垫”句和“笑点”句的语义之间的条件关系。3.如权利要求1所述的一种基于量子熵的幽默特征提取方法，其特征在于，密度矩阵的文本表示，包括：将文本分成“铺垫”句...

【专利技术属性】
技术研发人员：刘阳，侯越先，
申请(专利权)人：天津大学，
类型：发明
国别省市：