基于多模态的电力营销热点挖掘方法技术

本申请公开了基于多模态的电力营销热点挖掘方法，包括：采集电力营销中包括客户互动数据，将其汇总构成电力营销多模态热点挖掘数据集；对热点挖掘数据集中的文本描述进行预处理；分别进行图像模态特征抽取和文本模态特征抽取，获取图像模态与文本模态的特征向量；将图像模态特征和文本模态特征融合得到多模态融合特征，并基于多模态融合特征从文本描述中抽取候选热点词；对每个候选热点词计算原始热度值和热度增速；结合原始热度值与热度增速，从候选热点词中筛选最终的热点词。本发明专利技术打破了传统热点挖掘方法只关注文本数据的局限性，结合图像信息对热点挖掘任务进行增强。结合图像信息对热点挖掘任务进行增强。结合图像信息对热点挖掘任务进行增强。

【技术实现步骤摘要】
基于多模态的电力营销热点挖掘方法


[0001]本专利技术属于电力营销数据应用
，涉及基于多模态的电力营销热点挖掘方法。

技术介绍

[0002]电力涉及到现代社会中每个企业和家庭。在电力营销系统中，已有智能知识中心中的用户数据，包括文本与图像等多模态数据等。面对已有的多源数据，可以挖掘出相关的热点知识，热点的挖掘有助于快速地初步了解整体数据的特点，并为后续的分析工作，供方向与决策基础。通过热点发现能够从电力系统产生的多模态数据中挖掘出当前电力营销领域的热点话题，例如偷点漏电等违法行为，以及这些话题的热度。通过热点发现还能够快速发现用户数据的明显特征，例如用户通常在白天使用某项服务，以及大部分用户都使用电子支付电费等。通过对这些已挖掘出的热点知识进一步总结分析，智能感知出电力营销所需求的知识。
[0003]传统的热点挖掘专注在自然语言文本数据上，通过抽取热点词。通过对热点挖掘技术，识别新发生的例如新闻事件并跟踪事件后续发展动态的信息智能获取技术，该技术主要利用互联网搜索技术和自然语言处理技术，把分散的信息有效地汇集起来，通过这种方法关注事件发展动向。
[0004]热点挖掘常被应用与新闻咨询领域的舆情分析，其热点的判断依赖于新闻的评论、转发、点赞数或文章的浏览量、点赞量等明显含有关注热度标签的参数进行热点挖掘。
[0005]现有的热点挖掘方法主要利用文本信息进行热点词的识别，与此不同的是，电力营销领域的热点不仅仅来自于文本信息，而往往需要结合文本与图像的多模态数据中抽取出热点。因此，现有的热点挖掘方法无法直接适配到电力营销领域场景。

技术实现思路

[0006]为解决现有技术中的不足，本申请提供基于多模态的电力营销热点挖掘方法。
[0007]为了实现上述目标，本专利技术采用如下技术方案：
[0008]于多模态的电力营销热点挖掘方法，包括以下步骤：
[0009]步骤1，采集电力营销中包括文本描述及其对应的图像描述的客户互动数据，将其汇总构成电力营销多模态热点挖掘数据集；
[0010]步骤2，对热点挖掘数据集中的文本描述进行预处理；
[0011]步骤3，对预处理后的热点挖掘数据集分别进行图像模态特征抽取和文本模态特征抽取，获取图像模态与文本模态的特征向量；
[0012]步骤4，使用跨模态注意力机制将图像模态特征和文本模态特征融合得到多模态融合特征，并基于多模态融合特征，利用CRF模型从文本描述中抽取候选热点词；
[0013]步骤5，对步骤4抽取的每个候选热点词计算原始热度值和热度增速；
[0014]步骤6，结合原始热度值与热度增速，从候选热点词中筛选最终的热点词。
[0015]本专利技术进一步包括以下优选方案：
[0016]优选地，步骤1中，最终得到的电力营销多模态热点挖掘数据集表示为D＝{(x
i
,y
i
)}
L
，其中L为样本个数，x
i
表示第i个样本的文本描述，y
i
表示x
i
对应的图像描述；
[0017]所述文本描述为用户对事件的咨询与申诉。
[0018]优选地，步骤2中，对热点挖掘数据集中的文本描述进行预处理，具体为：对文本描述中的无效字符或者停用词进行清洗。
[0019]优选地，步骤3所述图像模态特征抽取，具体为：
[0020]采用VGG网络中的VGG
‑
16结构配置对图像描述进行视觉特征提取，提取公式为：
[0021]e(y)＝VGG16(y)
[0022]其中，y为输入的图像描述，e(y)为VGG
‑
16输出的低维编码特征向量，描述图像的视觉特征，图像特征转化成一个向量。
[0023]优选地，步骤3所述文本模态特征抽取，具体为：
[0024]从文本描述提取文本特征的公式为：
[0025]z
t
＝σ(W
xz
x
t
+W
hz
h
t
‑1)
[0026]r
t
＝σ(W
xr
x
t
+W
hr
h
t
‑1)
[0027][0028][0029]其中，
[0030]W
xz
和W
hz
分别表示在求解z
t
时，为x
t
和h
t
‑1分配的可训练的二维参数矩阵；
[0031]W
xr
和W
hr
分别表示在求解r
t
时，为x
t
和h
t
‑1分配的可训练的二维参数矩阵；
[0032]和分别表示在求解时，为x
t
和h
t
‑1分配的可训练的二维参数矩阵；
[0033]σ表示sigmoid激活函数；
[0034]x
t
是在文本描述的第t个字；tanh表示tanh激活函数；
[0035]h
t
‑1是在解码步骤t
‑
1的隐藏层输出；
[0036]是综合h
t
与x
t
的隐藏状态；
[0037]r
t
是控制隐藏层h
t
‑1在先前时间对于此时单词x
t
的影响；
[0038]z
t
是隐含向量，决定是否需要遗忘此时单词x
t
；
[0039]e
’
(x
t
)为最后输出的局部文本模态特征；
[0040]之后，采用预训练语言模型BERT对知识进行表示。
[0041]优选地，采用预训练语言模型BERT对知识进行表示，具体为：
[0042]使用BERT对e
’
(x
t
)编码，得到携带先验知识的全局文本模态特征e(x
t
)：
[0043]e(x
t
)＝BERT(e
’
(x
t
))。
[0044]优选地，步骤4具体包括：
[0045]步骤4.1，构建跨模态的注意力机制，使用跨模态注意力机制将图像模态特征和文本模态特征融合得到多模态融合特征；
[0046]步骤4.2，基于多模态融合特征，采用CRF模型作为输出层在文本描述中寻找文本的跨度，作为候选的热点词。
[0047]优选地，使用以下公式构建跨模态的注意力机制，从而对于每个字x
t
，得到最终的
多模态融合特征e(x
t
,y)：
[0048][0049][0050][0051]其中，ReLU表示激活函数；
[005本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多模态的电力营销热点挖掘方法，其特征在于：所述方法包括以下步骤：步骤1，采集电力营销中包括文本描述及其对应的图像描述的客户互动数据，将其汇总构成电力营销多模态热点挖掘数据集；步骤2，对热点挖掘数据集中的文本描述进行预处理；步骤3，对预处理后的热点挖掘数据集分别进行图像模态特征抽取和文本模态特征抽取，获取图像模态与文本模态的特征向量；步骤4，使用跨模态注意力机制将图像模态特征和文本模态特征融合得到多模态融合特征，并基于多模态融合特征，利用CRF模型从文本描述中抽取候选热点词；步骤5，对步骤4抽取的每个候选热点词计算原始热度值和热度增速；步骤6，结合原始热度值与热度增速，从候选热点词中筛选最终的热点词。2.根据权利要求1所述的基于多模态的电力营销热点挖掘方法，其特征在于：步骤1中，最终得到的电力营销多模态热点挖掘数据集表示为D＝{(x
i
,y
i
)}
L
，其中L为样本个数，x
i
表示第i个样本的文本描述，y
i
表示x
i
对应的图像描述；所述文本描述为用户对事件的咨询与申诉。3.根据权利要求1所述的基于多模态的电力营销热点挖掘方法，其特征在于：步骤2中，对热点挖掘数据集中的文本描述进行预处理，具体为：对文本描述中的无效字符或者停用词进行清洗。4.根据权利要求1所述的基于多模态的电力营销热点挖掘方法，其特征在于：步骤3所述图像模态特征抽取，具体为：采用VGG网络中的VGG
‑
16结构配置对图像描述进行视觉特征提取，提取公式为：e(y)＝VGG16(y)其中，y为输入的图像描述，e(y)为VGG
‑
16输出的低维编码特征向量，描述图像的视觉特征，图像特征转化成一个向量。5.根据权利要求1所述的基于多模态的电力营销热点挖掘方法，其特征在于：步骤3所述文本模态特征抽取，具体为：从文本描述提取文本特征，公式为：z
t
＝σ(W
xz
x
t
+W
hz
h
t
‑1)r
t
＝σ(W
xr
x
t
+W
hr
h
t
‑1))其中，W
xz
和W
hz
分别表示在求解z
t
时，为x
t
和h
t
‑1分配的可训练的二维参数矩阵；W
xr
和W
hr
分别表示在求解r
t
时，为x
t
和h
t
‑1分配的可训练的二维参数矩阵；和分别表示在求解时，为x
t
和h
t
‑1分配的可训练的二维参数矩阵；σ表示sigmoid激活函数；x
t
是在文本描述的第t个字；tanh表示tanh激活函数；h
t
‑1是在解码步骤t
‑
1的隐藏层输出；
是综合h
t
与x
t
的隐藏状态；r
t
是控制隐藏层h
t
‑1在先前时间对于此时单词x
t
的影响；z
t
是隐含向量，决定是否需要遗忘此时单词x
t
；e
’
(x
t
)为最后输出的局部文本模态特征；之后，采用预训练语言模型BERT对知识进行表示。6.根据权利要求5所述的基于多模态的电力营销热点挖掘方法，其特征在于：采用预训练语言模型BERT对知识进行表示，具体为：使用BERT对e
’
(x
t
)编码，得到携带先验知识的全局文本模态特征e(x
t
)：e(x
t
)＝BERT(e
’
(x
t
))。7.根据权利要求1所述的基于多模态的电力营销热点挖掘方法，其特征在于：步骤4具体包括：步骤4.1，构建跨模态的注意力机制，使用跨模态注意力机制将图像模态特征和文本模态特征融合得到多模态融合特征；步骤...

【专利技术属性】
技术研发人员：何玮，吴伟将，吴卓超，孙少辰，俞阳，
申请(专利权)人：国网江苏省电力有限公司营销服务中心，
类型：发明
国别省市：