基于制造技术

本发明专利技术公布了一种基于

【技术实现步骤摘要】
基于Transformer网络模型的数字标牌广告主题推荐方法


[0001]本专利技术属于计算机自然语言处理
，涉及文本分类技术和广告推荐技术，特别是涉及一种基于
Transformer
网络模型的数字标牌广告主题推荐方法
。

技术介绍

[0002]现有的文本分类方法大多使用传统的机器学习算法来对文本数据进行分类，一般需要对输入模型的文本数据进行人工标注，再使用机器学习算法进行分类，常见的传统文本分类方法包括朴素贝叶斯
、K
近邻
(K
‑
Nearest Neighbor
，
KNN)、
支持向量机
(Support Vector Machine
，
SVM)
等
。
特征提取的水平对文本分类效果的影响甚至高于图像分类，而文本分类中的特征工程往往非常耗时且计算成本高
。
随着深度学习的发展，文本分类的方法逐渐过渡到深度学习模型，深度学习方法通常会使用词嵌入技术将文本转化为向量表示，并使用卷积神经网络
(Convolutional Neural Networks
，
CNN)、
循环神经网络
(Recurrent Neural Network
，
RNN)、
注意力机制
(Attention Mechanism)
等模型来学习文本的特征表示和分类决策
。
文本卷积神经网络
(Text Convolutional Neural Networks
，
TextCNN)
是最经典的应用于
NLP
的
CNN
，在
TextCNN
中，文本首先被表示为一个词嵌入矩阵，其中每一行是一个单词的词向量，然后卷积核在矩阵上进行卷积操作，从而提取局部特征，再通过池化操作将这些特征压缩为全局特征，最后将全局特征传递给全连接层进行分类
。TextCNN
可以自动从文本中提取特征，而且模型结构相对简单，容易训练和优化
。
虽然
CNN
能够很好地捕捉文本中的局部信息，但是它无法处理序列中的长期依赖关系
。RNN
能够处理序列中的长期依赖关系，但是
RNN
无法实现并行计算
。
注意力机制可以结合
CNN
和
RNN
用于文本分类，更好地捕捉文本中的重要信息
。
[0003]广告推荐算法主要包括基于内容的推荐算法
、
协同过滤推荐算法和混合推荐算法这三类
。
基于内容的推荐
(Content
‑
Based Recommendation)
是一种常见的推荐系统方法，它主要是根据用户对某些物品的喜好，利用这些物品的属性
(
如描述
、
标签
、
关键词等
)
进行推荐
。
在冷启动的情况下
(
即新用户或者新物品
)
依然可以做出推荐
。
首先对物品的属性进行特征提取，将其转化为数值化的特征向量表示，然后对用户的偏好进行建模，将其转化为数值化的用户偏好向量表示，并计算用户偏好向量与物品特征向量之间的相似度，最后根据相似度计算结果，推荐与用户偏好相似度较高的物品
。
协同过滤推荐是一种利用用户历史行为和其他用户行为来预测用户可能感兴趣的产品或服务，并向其进行推荐的方法
。
其中包括基于用户和基于物品两种不同的协同过滤推荐方式
。
基于用户的协同过滤是根据用户之间的相似度来进行推荐，而基于物品的协同过滤则是根据产品或服务之间的相似度来进行推荐
。
混合推荐
(Hybrid Recommender Systems)
是一种综合多种推荐算法以达到更准确
、
个性化推荐结果的方法
。
它结合了不同算法的优点，弥补了单一推荐算法无法解决的问题
。
混合推荐的实现方式可以基于规则
、
内容和深度学习等多种技术
。
[0004]数字标牌作为城市广告的重要载体，数字标牌广告的精准投放成为研究的一个热点问题，但是现有数字标牌广告推荐方法中存在位置与主题分离的问题
。
而且，数字标牌广
告主题众多，目前基于深度学习的文本分类模型用于大多数分类任务的准确性较高，但仍然存在许多技术限制，如网络层的深度
、
正则化问题
、
网络学习率等
。
同时在分类任务中，现有传统的
softmax
模型在处理大型输出词汇表时存在计算复杂度过高的问题，严重影响了深度学习模型进行大型分类任务的效率
。

技术实现思路

[0005]为了克服上述现有技术的不足，本专利技术提供一种基于
Transformer
网络模型的数字标牌广告主题推荐方法，耦合数字标牌的空间特征及广告主题特征，构建了数字标牌广告主题分类模型和数字标牌广告主题推荐模型，实现数字标牌广告主题分类与推荐
。
[0006]本专利技术耦合数字标牌的空间特征及广告主题特征，利用广告推荐算法对待布设的数字标牌进行广告主题推荐
。
本专利技术在做数字标牌广告主题分类时，基于
Bert(Bidirectional Encoder Representations from Transformers)
网络模型与层次
Softmax(Hierarchical Softmax)
，构建了基于
Bert
的数字标牌广告主题分类模型，通过
Bert
网络模型实现自然语言处理任务，以及使用
Hierarchical Softmax
来解决传统
softmax
在处理大型输出词汇表时存在计算复杂度过高的问题，从而实现数字标牌广告主题分类，并能够提高分类的准确性，从而为更加精确的数字标牌广告主题推荐提供数据基础
。
[0007]本专利技术的技术方案为：
[0008]一种基于
Transformer
网络模型的数字标牌广告主题推荐方法，包括如下步骤：
[0009]第一
、
构建层次
Softmax(Hierarchical Softmax)
；
[0010]第二
、
利用
Bert
网络模型结合
Hierarchical Softmax
构建数字标牌广告主题分类模型；包括：
[0011]在
Ber本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
Transformer
网络模型的数字标牌广告主题推荐方法，其特征是，耦合数字标牌的空间特征及广告主题特征，基于
Bert
网络模型与层次
Softmax
构建数字标牌广告主题分类模型，并构建数字标牌广告主题推荐模型，从而实现数字标牌广告主题分类与推荐；包括如下步骤：第一
、
构建层次
Softmax
；第二
、
基于
Bert
网络模型和层次
Softmax
构建数字标牌广告主题分类模型；包括：在
Bert
网络模型的顶部连接一个层次
Softmax
作为分类器，构建数字标牌广告主题分类模型，对数字标牌广告主题进行分类，得到的数字标牌广告主题类别；包括：
21)
首先将数字标牌广告上面的文本内容相应的句子进行标记化，即转换为一系列的标记
tokens
；
22)
对标记
tokens
的系列进行重新编码；将重新编码的序列输入到
Bert
模型中，每个位置输出一个大小为隐藏层大小的向量；
23)
将第一个位置的输出向量作为层次
Softmax
分类器的输入，输出数字标牌文本分类结果即广告主题类别；第三
、
获取包含空间特征和广告主题特征的数字标牌数据；包括：设置格网尺度范围，进行空间格网划分；记录每个格网单元的兴趣点数量和数字标牌广告主题类别；进行空间连接；将数字标牌广告主题特征数据与兴趣点相关联；第四
、
利用
Transformer
网络模型构建数字标牌广告主题推荐模型，实现数字标牌广告主题推荐；包括：
41)
将数字标牌的空间特征与广告主题特征建模为序列；数字标牌的空间特征与广告主题特征表示空间特征与广告主题特征之间的依赖关系；序列包括空间特征
、
广告主题特征以及位置信息；
42)
采用基于
Transformer
的多标签分类方法构建数字标牌广告主题推荐模型，包括
L
个有向
Transformer
层；每一层通过与
Transformer
层并行地交换前一层所有位置的信息，迭代更新每个位置的表示；
43)
对数字标牌广告主题推荐模型进行训练，得到训练好的数字标牌广告主题推荐模型；模型的输入是数字标牌空间特征和广告主题特征构成的序列；序列中的每个特征的嵌入包含两部分，一部分是特征的嵌入，特征包括空间特征和广告主题特征；另一部分是位置信息的嵌入，是可学习的；将待布设数字标牌数据输入训练好的数字标牌广告主题推荐模型，即可输出待布设数字标牌的广告主题类型
。2.
如权利要求1所述基于
Transformer
网络模型的数字标牌广告主题推荐方法，其特征是，在
Bert
网络模型的顶部连接一个层次
Softmax
作为分类器，构建数字标牌广告主题分类模型，表示为：
P(c|h)
＝
Hierarchical Softmax(Wh)
其中，
W
为权重矩阵；
h
为数字标牌空间特征与广告主题特征序列；
c
为标签即广告主题类别
。3.
如权利要求1所述基于
Transformer
网络模型的数字标牌广告主题推荐方法，其特征
是，步骤
22)
对标记
tokens
的系列进行重新编码，具体是采用添加
[CLS]
标记的方式对
tokens
系列进行重新编码；设输入
Bert
模型的最大
tokens
的大小为
512
，当
token...

【专利技术属性】
技术研发人员：张珣，丛扬潇，张鑫，焦子豪，祁炜，梁春芳，刘羽，
申请(专利权)人：清华大学，
类型：发明
国别省市：