【技术实现步骤摘要】
本专利技术属于计算机数据处理，尤其涉及一种基于深度强化学习的广告营销推荐方法。
技术介绍
1、随着互联网的快速发展和移动设备的普及，在线广告已经成为商家推广产品和服务的重要渠道。然而，面对海量用户行为数据和广告内容，如何实现精准的广告推荐，提升广告点击率和转化率，成为广告营销领域的重要研究课题。传统的广告推荐系统在应对复杂多变的用户需求和广告内容时，往往存在诸多不足。因此，研发一种更加智能、高效的广告推荐方法，具有重要的实际意义和商业价值。
2、现存的广告营销推荐方法技术主要涵盖以下三种：基于规则的推荐技术、协同过滤推荐技术以及内容推荐技术。
3、基于规则的推荐技术：基于规则的推荐技术使用预定义的规则（如基于用户的地理位置、浏览历史）进行广告推荐。但规则的制定需要大量的人工干预，缺乏灵活性，无法适应快速变化的用户需求和广告内容，推荐效果不佳。
4、协同过滤推荐技术：协同过滤技术根据用户的历史行为数据和相似用户的行为进行推荐，分为基于用户的协同过滤和基于项目的协同过滤。但协同过滤依赖于用户的历史行为数据，对于新用户（冷启动问题）和新广告的推荐效果较差。此外，当用户和广告数据规模庞大时，计算复杂度高，实时性差。
5、内容推荐技术：内容推荐技术根据广告内容的特征进行推荐，匹配与用户兴趣相符的广告内容。由于其过于依赖广告内容的特征，无法充分利用用户的行为数据，推荐的个性化程度较低，难以精确捕捉用户的实际兴趣和需求。
6、因此，以上现存的广告营销推荐方法均存在局限性，传统方法依赖
技术实现思路
1、针对上述问题，本专利技术提出了一种基于深度强化学习的广告营销推荐方法，包括以下过程：
2、s1，构建原始数据集，原始数据集包括用户行为数据、用户属性数据和广告内容数据；
3、s2，对原始数据集进行特征提取，通过自监督学习从无标签数据中挖掘潜在规律，并对用户特征进行多尺度特征融合，从而生成丰富的用户和广告特征表示，获取标准特征数据集；
4、s3，构建基于transformer的广告营销推荐模型，利用自注意力机制捕捉用户与广告之间的复杂关系，进行更深层次的特征交互，用于得到广告营销推荐的预测结果；
5、s4，基于s2的标准特征数据集，结合深度强化学习进行模型训练和优化，获得训练后的广告营销推荐模型；
6、s5，部署训练后的广告营销推荐模型到实际广告推荐系统中进行在线学习，并实时获取处理后的特征数据，输出个性化的广告营销推荐结果。
7、优选的，所述s1中用户行为数据的采集，包括用户点击流数据、浏览行为数据和购买行为数据，记为，且为时序数据；
8、所述点击流数据是捕获用户对页面中各元素的点击行为，记录点击事件的时间戳、用户id和点击元素id信息，点击流数据记为；
9、所述浏览行为数据通过前端可视区域捕捉技术记录用户浏览行为，包括浏览事件时间戳、用户id、浏览页面url和停留时长信息；浏览行为数据记为；
10、所述购买行为数据则在电商应用中采集下单、支付、退款关键节点，记录事件时间、用户id、订单id和商品id信息；购买行为数据记为；
11、用户行为数据包含用户点击流数据、浏览行为数据和购买行为数据，记为，且为时序数据；
12、所述s1中用户属性数据的采集是从用户注册资料中获取基本信息，包括姓名、邮箱、年龄、性别、地址；最终得到用户属性数据，且为静态数据；
13、所述s1中广告内容数据的采集包括广告投放记录数据和广告创意内容数据，记为；
14、所述广告投放记录包括服务端记录的广告id、投放位置id标识数据和广告被点击数据，广告投放记录数据记为；
15、所述广告创意内容的采集则涉及抓取广告的标题、描述文案、展示图片和视频创意素材，广告创意内容数据记为。
16、优选的，所述s2的具体过程包括：
17、用户行为特征提取：通过构建自编码器进行特征提取；自编码器通过最小化输入数据与重建数据之间的差异，学习到捕捉数据本质分布和结构的稠密特征表示，使其被迫学习到能够高效压缩并重建用户行为序列的特征表示，作为用户行为特征；
18、用户属性特征提取：将原本离散的用户属性数据转化为连续的向量表示，增强数据的表示能力，使其更适合后续的深度学习处理，将用户属性数据经过embedding层转化为向量形式；
19、广告特征提取：获取广告投放特征和创意内容特征，并进行拼接，得到广告的综合特征；
20、基于自监督学习的多尺度用户特征融合：通过自监督预训练、时序行为特征融合、行为与属性特征融合，从海量无监督行为数据中挖掘出用户的多尺度行为模式，并与结构化的属性信息进行融合，生成了高质量、丰富的用户表示。
21、优选的，对于离散的用户行为时序数据，首先使用嵌入embedding层将其转化为连续的向量表示，目的是让神经网络能够更好地学习到行为数据之间的潜在语义和模式；
22、然后，将embedding后的行为序列输入到自编码器网络中的编码器，编码器使用1d卷积神经网络cnn_encoder，通过滑动窗口机制在时间序列上移动，捕捉局部特征和上下文信息，生成更具代表性的潜在表示；
23、接着，将输入到解码器cnn_decoder中，解码器会尝试重建原始的行为序列，所述解码器使用反卷积神经网络；
24、根据所建立的自编码器的编-解码器的特征提取网络，进行训练，通过最小化重建损失：
25、
26、自编码器被迫学习到能够高效压缩并重建用户行为序列的特征表示。
27、优选的，所述用户属性特征提取，为进一步提升属性特征的表达能力，使用多层感知机 mlp对这些嵌入后的向量进行非线性变换；多层感知机mlp由n个全连接层组成，每层均包含非线性激活函数；捕捉到属性特征之间的复杂非线性关系，从而获得更具表现力的用户属性特征：
28、
29、其中，通过多层非线性变换，使得用户属性特征拥有更高的非线性表达能力。
30、优选的，所述广告特征提取，其中广告投放特征，统计由广告id得来的广告类别、广告位置id以及被点击数据，并经过归一化将其处理，将这些投放相关的统计量拼接为一个投放特征向量；
31、其中创意内容特征，标题、描述文案使用textcnn提取特征向量，图像借助cnn获取视觉特征向量，视频使用3d-cnn提取运动特征向量；并将文本、图像和视频特征向量拼接作为创意内容特征。
32、优选的，所述基于自监督学习的多尺度用户特征融合，是挖掘用户行为数据中蕴含的复杂行为模式和兴趣偏好，并将其与用户属性特征有机融合，生成多尺度、丰富的用户表示；
33、其中自监督预训练，是从无标签的用户行为序列数据中学习获取有用的行为模式表示，将用户的时序行为本文档来自技高网...
【技术保护点】
1.一种基于深度强化学习的广告营销推荐方法，其特征在于，包括以下过程：
2.如权利要求1所述的一种基于深度强化学习的广告营销推荐方法，其特征在于：
3.如权利要求1所述的一种基于深度强化学习的广告营销推荐方法，其特征在于：所述S2的具体过程包括：
4.如权利要求3所述的一种基于深度强化学习的广告营销推荐方法，其特征在于，所述用户行为特征提取具体为：
5.如权利要求3所述的一种基于深度强化学习的广告营销推荐方法，其特征在于：所述用户属性特征提取，为进一步提升属性特征的表达能力，使用多层感知机 MLP对这些嵌入后的向量进行非线性变换；多层感知机MLP由N个全连接层组成，每层均包含非线性激活函数；捕捉到属性特征之间的复杂非线性关系，从而获得更具表现力的用户属性特征：
6.如权利要求3所述的一种基于深度强化学习的广告营销推荐方法，其特征在于：所述广告特征提取，其中广告投放特征，统计由广告ID得来的广告类别、广告位置ID以及被点击数据，并经过归一化将其处理，将这些投放相关的统计量拼接为一个投放特征向量；
7.如权利要求
8.如权利要求3所述的一种基于深度强化学习的广告营销推荐方法，其特征在于，所述构建基于Transformer的广告营销推荐模型，具体为：
9.如权利要求3所述的一种基于深度强化学习的广告营销推荐方法，其特征在于，所述S4中结合深度强化学习进行模型训练和优化，具体为：
10.如权利要求9所述的一种基于深度强化学习的广告营销推荐方法，其特征在于：
...【技术特征摘要】
1.一种基于深度强化学习的广告营销推荐方法，其特征在于，包括以下过程：
2.如权利要求1所述的一种基于深度强化学习的广告营销推荐方法，其特征在于：
3.如权利要求1所述的一种基于深度强化学习的广告营销推荐方法，其特征在于：所述s2的具体过程包括：
4.如权利要求3所述的一种基于深度强化学习的广告营销推荐方法，其特征在于，所述用户行为特征提取具体为：
5.如权利要求3所述的一种基于深度强化学习的广告营销推荐方法，其特征在于：所述用户属性特征提取，为进一步提升属性特征的表达能力，使用多层感知机 mlp对这些嵌入后的向量进行非线性变换；多层感知机mlp由n个全连接层组成，每层均包含非线性激活函数；捕捉到属性特征之间的复杂非线性关系，从而获得更具表现力的用户属性特征：
6.如权利要求3所述的一种基于深度强化学习的广告营销推荐方法，...
【专利技术属性】
技术研发人员：于皓，伍诗允，杨林，庞宇婷，
申请(专利权)人：广东省广告集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。