【技术实现步骤摘要】
本申请涉及人工智能，特别是涉及一种广告图像生成方法、系统、终端及介质。
技术介绍
1、商铺广告是商铺为推销商品或提供服务，通过广告媒体向消费者或用户传播商品或服务信息的重要途径。目前，商铺广告生成方法涵盖了多种技术和策略，以满足日益多样化的市场需求和用户偏好。传统的商铺广告制作方法主要基于模板设计和手工绘制，其局限性在于不够灵活、速度慢、效率低、成本较高且缺乏创新性，难以适应快速变化的市场环境和用户需求。
2、随着人工智能技术的发展，商铺广告制作也从传统人工设计进化到通过分析大量的广告图像数据，学习广告图像的特征和风格，从而实现自动化生成广告图像。虽然自动生成广告图像的方法能够快速提高生成速度和效率，但受限于采集的广告图像数据质量、图像处理算法以及人工智能算法的准确性，生成的广告图像通常缺乏创意和个性化，从而导致适用性和用户体验较差，无法真正应用于市场营销，以及无法满足用户需求。
技术实现思路
1、鉴于以上所述现有技术的缺点，本申请的目的在于提供一种广告图像生成方法、系统、终端及介质，用于解决现有技术中自动生成的广告图像缺乏创意和个性化，从而导致适用性和用户体验较差，无法应用于市场的问题。
2、为实现上述目的及其他相关目的，本申请的第一方面提供一种广告图像生成方法，所述广告图像生成方法包括：获取用户输入的多模态数据，并对获取的多模态数据进行特征提取，生成初始多模态特征向量；其中，所述多模态数据包括文本数据、语音数据以及图像数据中的一种或多种；所述初始多模态特
3、于本申请的第一方面的一些实施例中，对获取的多模态数据进行特征提取，生成初始多模态特征向量的方式包括：基于预训练的文本特征提取模型、语音特征提取模型以及图像特征提取模型，分别对所述多模态数据中的文本数据、语音数据以及图像数据进行特征提取，生成文本类型的初始文本特征向量、语音类型的初始语音特征向量以及图像类型的初始图像特征向量。
4、于本申请的第一方面的一些实施例中，将所述初始多模态特征向量进行空间对齐，生成待确认文本特征向量的方式包括：将所述初始语音特征向量以及所述初始图像特征向量分别对应输入预训练的特征向量空间对齐模型的语音特征处理分支以及图像特征处理分支；基于所述语音特征处理分支，对所述初始语音特征向量进行特征处理，生成对应的第一文本特征向量，并计算所述初始语音特征向量与所述第一文本特征向量之间的相似度，将计算获得的相似度作为第一相似度；基于所述图像特征处理分支，对所述初始图像特征向量进行特征处理，生成对应的第二文本特征向量，并计算所述初始图像特征向量与所述第二文本特征向量之间的相似度，将计算获得的相似度作为第二相似度；基于注意力机制，将所述第一相似度以及所述第二相似度分别映射为所述第一文本特征向量以及所述第二文本特征向量的注意力权重，并将所述第一文本特征向量以及所述第二文本特征向量进行特征融合，生成融合文本特征向量；判断所述初始多模态特征向量是否包括文本类型的初始文本特征向量；若所述初始多模态特征向量包括文本类型的初始文本特征向量，则将所述融合文本特征向量与所述初始文本特征向量结合，生成待确认文本特征向量；若所述初始多模态特征向量未包括文本类型的初始文本特征向量，则将所述融合文本特征向量作为待确认文本特征向量输出。
5、于本申请的第一方面的一些实施例中，生成目标文本特征向量的方式包括：对基于文本向量数据库构建的大语言模型中的各语义标签进行遍历，并对所述待确认文本特征向量与各所述语义标签进行语义匹配，判断是否语义匹配成功；若语义匹配成功，则将所述待确认文本特征向量反馈至用户，待接收到来自用户的交互确认信息后，根据所述交互确认信息执行更新目标文本特征向量操作或确认目标文本特征向量操作；若语义匹配不成功，则获取所述待确认文本特征向量的关联文本特征向量，并将所述关联文本特征向量与所述待确认文本特征向量结合，重新与各所述语义标签进行语义匹配，直至语义匹配成功。
6、于本申请的第一方面的一些实施例中，根据所述交互确认信息执行更新目标文本特征向量操作或确认目标文本特征向量操作的方式包括：判断所述交互确认信息类型；若所述交互确认信息为需求更新信息，则获取所述需求更新信息中的多模态数据，并根据所述多模态数据生成待确认文本特征向量，继续将所述待确认文本特征向量与各所述语义标签进行语义匹配，直至生成目标文本特征向量；若所述交互确认信息为需求确认信息，则将所述待确认文本特征向量作为符合用户需求的目标文本特征向量输出，并存储至文本向量数据库。
7、于本申请的第一方面的一些实施例中，获取所述待确认文本特征向量的关联文本特征向量的方式包括：遍历同一用户的输入信息，判断所述待确认文本特征向量是否具有上下文信息；若具有上下文信息，则获取所述上下文信息中的多模态数据，并根据所述多模态数据生成所述待确认文本特征向量的关联文本特征向量；若不具有上下文信息，则将语义不匹配结果反馈至用户，以供获取用户新输入的多模态数据，并根据所述多模态数据生成所述待确认文本特征向量的关联文本特征向量。
8、于本申请的第一方面的一些实施例中，基于预训练的广告图像生成模型，根据所述目标文本特征向量获取对应的文本响应和信号令牌，并生成目标广告图像的方式包括：根据所述目标文本特征向量获取对应的文本响应和信号令牌，并将获取的文本响应和信号令牌映射到与目标广告图像大小相同的维度空间；对映射到目标广告图像维度空间的文本响应和信号令牌进行分类，划分为用于描述目标广告图像的文本信息的文本响应和信号令牌、用于描述目标广告图像的音频信息的文本响应和信号令牌以及用于描述目标广告图像的图像信息的文本响应和信号令牌；针对不同类型的文本响应和信号令牌，使用不同的潜在条件扩散模型训练，生成具有文本信息、音频信息以及图像信息的目标广告图像。
9、为实现上述目的及其他相关目的，本申请的第二方面提供一种广告图像生成系统，所述广告图像生成系统包括：多模态数据获取模块，用于获取用户输入的多模态数据，并对获取的多模态数据进行特征提取，生成初始多模态特征向量；其中，所述多模态数据包括文本数据、语音数据以及图像数据中的一种本文档来自技高网...
【技术保护点】
1.一种广告图像生成方法，其特征在于，包括：
2.根据权利要求1所述的广告图像生成方法，其特征在于，对获取的多模态数据进行特征提取，生成初始多模态特征向量的方式包括：
3.根据权利要求2所述的广告图像生成方法，其特征在于，将所述初始多模态特征向量进行空间对齐，生成待确认文本特征向量的方式包括：
4.根据权利要求1所述的广告图像生成方法，其特征在于，生成目标文本特征向量的方式包括：
5.根据权利要求4所述的广告图像生成方法，其特征在于，根据所述交互确认信息执行更新目标文本特征向量操作或确认目标文本特征向量操作的方式包括：
6.根据权利要求4所述的广告图像生成方法，其特征在于，获取所述待确认文本特征向量的关联文本特征向量的方式包括：
7.根据权利要求1所述的广告图像生成方法，其特征在于，基于预训练的广告图像生成模型，根据所述目标文本特征向量获取对应的文本响应和信号令牌，并生成目标广告图像的方式包括：
8.一种广告图像生成系统，其特征在于，包括：
9.一种广告图像生成终端，包括存储器、处理器
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述广告图像生成方法。
...【技术特征摘要】
1.一种广告图像生成方法，其特征在于，包括：
2.根据权利要求1所述的广告图像生成方法，其特征在于，对获取的多模态数据进行特征提取，生成初始多模态特征向量的方式包括：
3.根据权利要求2所述的广告图像生成方法，其特征在于，将所述初始多模态特征向量进行空间对齐，生成待确认文本特征向量的方式包括：
4.根据权利要求1所述的广告图像生成方法，其特征在于，生成目标文本特征向量的方式包括：
5.根据权利要求4所述的广告图像生成方法，其特征在于，根据所述交互确认信息执行更新目标文本特征向量操作或确认目标文本特征向量操作的方式包括：
6.根据权利要求4所述的广告图像生成方法，其特征...
【专利技术属性】
技术研发人员：卿培，李素，赵洪蕊，沈亨盛，
申请(专利权)人：浦江三思光电技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。