情感-原因对抽取方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术提供一种情感

【技术实现步骤摘要】
情感
‑
原因对抽取方法、装置、设备及可读存储介质


[0001]本专利技术涉及自然语言处理领域，尤其涉及一种情感
‑
原因对抽取方法、装置、设备及可读存储介质。

技术介绍

[0002]情感
‑
原因对抽取是一项自然语言处理领域的任务，旨在从篇章级别的文档当中自动抽取其中的情感子句和其对应原因子句。其中文档由数个子句构成，子句被定义为由逗号等符号隔开的短句，区别于由句号隔开的整句。情感
‑
原因对抽取的应用场景很广泛，包括社交媒体挖掘以及产品评论分析等。鉴于其重要性，越来越多的研究者开始关注情感
‑
原因对抽取。
[0003]在一篇文档中，情感子句和其对应的原因子句蕴含了大量的语音信息，有着很高的研究价值。目前已有情感
‑
原因对抽取算法均没有充分考虑情感子句与原因子句之间相对位置的重要性，或仅仅使用了简单的位置嵌入来捕获位置信息。

技术实现思路

[0004]本专利技术的主要目的在于提供一种情感
‑
原因对抽取方法、装置、设备及可读存储介质，旨在解决现有技术中，篇章级别情感
‑
原因对抽取方法中需要人工构造大量文本特征、子句间相对位置信息利用不充分导致情感
‑
原因对捕获能力差的技术问题。
[0005]第一方面，本专利技术提供一种情感
‑
原因对抽取方法，所述情感
‑
原因对抽取方法包括以下步骤：
[0006]将待预测文档输入到语言模型中，得到所述待预测文档中每个子句的向量化表示；
[0007]将所述每个子句的向量化表示输入到训练完成的情感
‑
原因对抽取模型中，基于所述训练完成的情感
‑
原因对抽取模型得到所述待预测文档中的情感
‑
原因对；
[0008]所述基于所述训练完成的情感
‑
原因对抽取模型得到所述待预测文档中的情感
‑
原因对的步骤包括：
[0009]基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示；
[0010]基于所述每个子句的第一向量化表示预测每个子句的类型，并基于类型预测值划分得到得到情感子句集和原因子句集；
[0011]基于融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示；
[0012]对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示；
[0013]基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示；
[0014]根据每个候选子句对的新的向量化表示进行情感
‑
原因对的预测，并基于情感
‑
原因对的预测值，抽取得到所述待预测文档中的情感
‑
原因对。
[0015]可选的，所述基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示的步骤包括：
[0016]将每个子句的向量化表示输入第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示，其中，第一融合高斯先验的自注意力模块的公式表示为：
[0017][0018]其中，s
i
为子句i的第一向量化表示，c
i
为子句i的向量化表示，c
j
为待预测文档中非子句i的任一子句的向量化表示，d
i,j
为c
i
与c
j
的距离，为高斯先验，
∝1和b1为训练参数。
[0019]可选的，所述基于所述每个子句的第一向量化表示预测每个子句的类型的步骤包括：
[0020]将每个子句的第一向量化表示输入第一预测公式，第一预测公式为：
[0021][0022]其中，为子句i的类型预测值，s
i
为子句i的第一向量化表示，W
s
和b
s
为训练参数。
[0023]可选的，所述基于融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示的步骤包括：
[0024]将情感子句集与原因子句集中每个子句的第一向量化表示输入到融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示，其中，融合高斯先验的交叉注意力模块的公式表示为：
[0025][0026][0027]其中，为情感子句集中子句i的第二向量化表示，为情感子句集中子句i的第一向量化表示，为原因子句集中子句j的第二向量化表示，为原因子句集中子句j的第一向量化表示，d
i,j
、d
j,i
为与的距离，为高斯先验，
∝2和b2、
∝3和b3为训练参数。
[0028]可选的，所述基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示的步骤包括：
[0029]将每个候选子句对的向量化表示输入到第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示，其中，第二融合高斯先验的自注意力模块的公式表示为：
[0030][0031]其中，为候选子句对的新的向量化表示，h
i,j
为情感子句i和原因子句j构成的候选子句对的向量化表示，n为待预测文档中的子句数量，h
i,m
为情感子句i和原因子句集中任一子句构成的候选子句对的向量化表示，d
j,m
为原因子句j与原因子句集中任一子句间的距离，为高斯先验，
∝4和b4为训练参数。
[0032]可选的，所述根据每个候选子句对的新的向量化表示进行情感
‑
原因对的预测的步骤包括：
[0033]将候选子句对的新的向量化表示输入到第二预测公式，第二预测公式为：
[0034][0035]其中，为子句i与子句j构成的候选子句对的新的向量化表示的预测值，为候选子句对的新的向量化表示，W
h
和b
h
为训练参数。
[0036]可选的，所述情感
‑
原因对抽取方法还包括：
[0037]将训练文档输入到语言模型中，得到所述训练文档中每个子句的向量化表示；
[0038]将所述每个子句的向量化表示输入情感
‑
原因对抽取模型中，基于所述情感
‑
原因对抽取模型得到联合损失；
[0039]根据所述联合损失梯度更新所述情感
‑
原因对抽取模型的训练参数；
[0040]检测联合损失是否收敛；
[0041]若联合损失未收敛，则以新的训练文档作为所述训练文档，并返回执行将训练文档输入到语言模型中，得到所述训练文档中每个子句的向量化表示的步骤；
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情感
‑
原因对抽取方法，其特征在于，所述情感
‑
原因对抽取方法包括：将待预测文档输入到语言模型中，得到所述待预测文档中每个子句的向量化表示；将所述每个子句的向量化表示输入到训练完成的情感
‑
原因对抽取模型中，基于所述训练完成的情感
‑
原因对抽取模型得到所述待预测文档中的情感
‑
原因对；所述基于所述训练完成的情感
‑
原因对抽取模型得到所述待预测文档中的情感
‑
原因对的步骤包括：基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示；基于所述每个子句的第一向量化表示预测每个子句的类型，并基于类型预测值划分得到得到情感子句集和原因子句集；基于融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示；对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示；基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示；根据每个候选子句对的新的向量化表示进行情感
‑
原因对的预测，并基于情感
‑
原因对的预测值，抽取得到所述待预测文档中的情感
‑
原因对。2.如权利要求1所述的情感
‑
原因对抽取方法，其特征在于，所述基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示的步骤包括：将每个子句的向量化表示输入第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示，其中，第一融合高斯先验的自注意力模块的公式表示为：其中，s
i
为子句i的第一向量化表示，c
i
为子句i的向量化表示，c
j
为待预测文档中非子句i的任一子句的向量化表示，d
i,j
为c
i
与c
j
的距离，为高斯先验，
∝1和b1为训练参数。3.如权利要求1所述的情感
‑
原因对抽取方法，其特征在于，所述基于所述每个子句的第一向量化表示预测每个子句的类型的步骤包括：将每个子句的第一向量化表示输入第一预测公式，第一预测公式为：其中，为子句i的类型预测值，s
i
为子句i的第一向量化表示，W
s
和b
s
为训练参数。4.如权利要求1所述的情感
‑
原因对抽取方法，其特征在于，所述基于融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示的步骤包括：将情感子句集与原因子句集中每个子句的第一向量化表示输入到融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示，其中，融合高
斯先验的交叉注意力模块的公式表示为：斯先验的交叉注意力模块的公式表示为：其中，为情感子句集中子句i的第二向量化表示，为情感子句集中子句i的第一向量化表示，为原因子句集中子句j的第二向量化表示，为原因子句集中子句j的第一向量化表示，d
i,j
、d
j,i
为与的距离，为高斯先验，
∝2和b2、
∝3和b3为训练参数。5.如权利要求1所述的情感
‑
原因对抽取方法，其特征在于，所述基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示的步骤包括：将每个候选子句对的向量化表示输入到第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示，其中，第二融合高斯先验的自注意力模块的公式表示为：其中，为候选子句对的新的向量化表示，h
i,j
为情感子句i和原因子句j构成的候选子句对的向量化表示，n为待预测文档中的子句数量，h
i,m
为情感子句i和原因子句集中任一子句构成的候选子句对的向量化表示，d
j,m
为原因子句j与原因子句集中任一子句间的距离，为高斯先验，
∝4和b4为训练参数。6.如权利要求1所述的情感
‑
原因对抽取方法，其特征在于，所述根据每个候选子句对的新的向量化表示进行情感
‑
原因对的预测的步骤包括：将候选子句对的新的向量化表示输入到第二预测公式，第二预测公式为：其中，为子句i与子句j构成的候选子句对的新的向量化表示的预测值，为候选子句对的新的向量化表示，W
h
和b
h
为训练参数。7.如权利要求1所述的情感
‑
原因对抽取方法，其特征在于，所述情感
...

【专利技术属性】
技术研发人员：何发智，谭鸿昊，赵坤，
申请(专利权)人：武汉大学，
类型：发明
国别省市：