【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种图像生成方法、装置、电子设备和存储介质。
技术介绍
1、随着人工智能技术的飞速发展，文本到图像（text-to-image）生成技术已成为图像内容创作、广告设计、教育以及科研等多个领域中的重要工具。这类生成模型的核心优势在于能够根据用户输入的文本描述，自动生成对应的图像，从而提升图像创作的效率与创意空间。
2、然而，目前的文图生成技术依赖于大规模的通用训练数据，以确保生成的多样性和通用性，这种训练方法会使得模型在处理特定领域的知识时，生成能力受到限制，具体是由于训练数据大多来源于通用场景下的图文对，因此模型在生成特定领域图像时，难以准确捕捉并传达专业概念和细节，导致生成结果的准确性和丰富性不足。
3、此外，随着知识更新速度的加快，一些快速变化或新兴领域的知识概念往往未被模型充分覆盖，这进一步加剧了模型在生成这些领域图像时的局限性，使得生成结果的准确性和多样性受到影响。
技术实现思路
1、本专利技术提供一种图像生成方法、装置、电子设备和存储介质，用以解决现有技术中特定领域的图像生成存在局限性、生成图像的准确性、丰富性不足的缺陷，实现快速准确的图像生成，并保证生成图像的多样性和细节丰富性。
2、本专利技术提供一种图像生成方法，包括：
3、获取图像描述文本，并确定所述图像描述文本中的领域知识和通用知识，以及所述领域知识和所述通用知识分别对应的路由权重；
4、基于所述领域知识，从领域知识库中进行
5、基于所述参考图像、所述通用知识，以及所述领域知识和所述通用知识分别对应的路由权重进行图像生成，得到生成的目标图像；
6、其中，路由权重用于反映对应知识在所述目标图像上的呈现度。
7、根据本专利技术提供的一种图像生成方法，所述基于所述参考图像、所述通用知识，以及所述领域知识和所述通用知识分别对应的路由权重进行图像生成，得到生成的目标图像，包括：
8、对所述参考图像进行特征提取，并基于特征提取所得的参考图像特征确定参考生成图像特征；
9、对所述通用知识进行特征提取，并基于特征提取所得的通用文本特征确定文本生成图像特征；
10、基于所述参考图像特征和所述参考生成图像特征、所述通用文本特征和所述文本生成图像特征，以及所述领域知识和所述通用知识分别对应的路由权重进行图像生成，得到所述目标图像。
11、根据本专利技术提供的一种图像生成方法，所述基于所述参考图像特征和所述参考生成图像特征、所述通用文本特征和所述文本生成图像特征，以及所述领域知识和所述通用知识分别对应的路由权重进行图像生成，得到所述目标图像，包括：
12、基于所述参考图像特征和所述参考生成图像特征进行特征交互，得到第一生成图像特征；
13、基于所述通用文本特征和所述文本生成图像特征进行特征交互，得到第二生成图像特征；
14、基于所述第一生成图像特征和所述第二生成图像特征，以及所述领域知识和所述通用知识分别对应的路由权重进行图像生成，得到所述目标图像。
15、根据本专利技术提供的一种图像生成方法，所述基于所述参考图像特征和所述参考生成图像特征进行特征交互，得到第一生成图像特征；基于所述通用文本特征和所述文本生成图像特征进行特征交互，得到第二生成图像特征，包括：
16、基于所述参考图像特征和所述参考生成图像特征进行交叉注意力交互，得到第一生成图像特征；
17、基于所述通用文本特征和所述文本生成图像特征进行交叉注意力交互，以及基于所述文本生成图像特征进行自注意力交互，并基于自注意力交互以及交叉注意力交互所得的特征进行特征融合，得到第二生成图像特征。
18、根据本专利技术提供的一种图像生成方法，所述基于所述第一生成图像特征和所述第二生成图像特征，以及所述领域知识和所述通用知识分别对应的路由权重进行图像生成，得到所述目标图像，包括：
19、基于所述路由权重，对所述第一生成图像特征和所述第二生成图像特征进行加权融合，得到生成图像特征；
20、基于所述生成图像特征进行图像生成，得到所述目标图像。
21、根据本专利技术提供的一种图像生成方法，所述确定所述图像描述文本中的领域知识和通用知识，以及所述领域知识和所述通用知识分别对应的路由权重，包括：
22、对所述图像描述文本进行文本解析，得到所述图像描述文本中的领域知识和通用知识；
23、基于所述领域知识与所述图像描述文本之间的相关性，以及所述领域知识与所述通用知识之间的匹配度，确定所述领域知识和所述通用知识分别对应的路由权重。
24、根据本专利技术提供的一种图像生成方法，所述领域知识库中包含多个领域知识对，每一领域知识对中包含一个领域知识文本以及对应的领域知识图像；
25、所述基于所述领域知识，从领域知识库中进行知识检索，得到参考图像，包括：
26、在所述领域知识库中进行文本检索，得到目标知识文本；所述目标知识文本为按照与所述领域知识间的文本相似度和/或语义相似度从高到低的顺序排列时，第一个领域知识文本；
27、从所述领域知识库中，确定所述目标知识文本所在的目标领域知识对，将所述目标领域知识对中的领域知识图像作为所述参考图像。
28、本专利技术还提供一种图像生成装置，包括：
29、文本解析单元，用于获取图像描述文本，并确定所述图像描述文本中的领域知识和通用知识，以及所述领域知识和所述通用知识分别对应的路由权重；
30、知识检索单元，用于基于所述领域知识，从领域知识库中进行知识检索，得到参考图像；所述领域知识库动态更新；
31、图像生成单元，用于基于所述参考图像、所述通用知识，以及所述领域知识和所述通用知识分别对应的路由权重进行图像生成，得到生成的目标图像；
32、其中，路由权重用于反映对应知识在所述目标图像上的呈现度。
33、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的图像生成方法。
34、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的图像生成方法。
35、本专利技术提供的图像生成方法、装置、电子设备和存储介质，基于图像描述文本中的领域知识，从领域知识库中进行知识检索，得到参考图像；领域知识库动态更新，利用动态知识检索的优势进行特定领域的知识检索，可以为特定领域的知识生成提供参考，在此基础上基于动态路由策略进行图像生成，能够确保生成的目标图像准确反映特定领域的知识，保证时效性和文本一致性，并可灵活应对不同的知识需求，不仅保证生成的图像的准确性，也增强了多样性和细节丰富性。
本文档来自技高网...【技术保护点】
1.一种图像生成方法，其特征在于，包括：
2.根据权利要求1所述的图像生成方法，其特征在于，所述基于所述参考图像、所述通用知识，以及所述领域知识和所述通用知识分别对应的路由权重进行图像生成，得到生成的目标图像，包括：
3.根据权利要求2所述的图像生成方法，其特征在于，所述基于所述参考图像特征和所述参考生成图像特征、所述通用文本特征和所述文本生成图像特征，以及所述领域知识和所述通用知识分别对应的路由权重进行图像生成，得到所述目标图像，包括：
4.根据权利要求3所述的图像生成方法，其特征在于，所述基于所述参考图像特征和所述参考生成图像特征进行特征交互，得到第一生成图像特征；基于所述通用文本特征和所述文本生成图像特征进行特征交互，得到第二生成图像特征，包括：
5.根据权利要求3所述的图像生成方法，其特征在于，所述基于所述第一生成图像特征和所述第二生成图像特征，以及所述领域知识和所述通用知识分别对应的路由权重进行图像生成，得到所述目标图像，包括：
6.根据权利要求1至5中任一项所述的图像生成方法，其特征在于，所述确定所述图像描述
7.根据权利要求1至5中任一项所述的图像生成方法，其特征在于，所述领域知识库中包含多个领域知识对，每一领域知识对中包含一个领域知识文本以及对应的领域知识图像；
8.一种图像生成装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的图像生成方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像生成方法。
...【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：
2.根据权利要求1所述的图像生成方法，其特征在于，所述基于所述参考图像、所述通用知识，以及所述领域知识和所述通用知识分别对应的路由权重进行图像生成，得到生成的目标图像，包括：
3.根据权利要求2所述的图像生成方法，其特征在于，所述基于所述参考图像特征和所述参考生成图像特征、所述通用文本特征和所述文本生成图像特征，以及所述领域知识和所述通用知识分别对应的路由权重进行图像生成，得到所述目标图像，包括：
4.根据权利要求3所述的图像生成方法，其特征在于，所述基于所述参考图像特征和所述参考生成图像特征进行特征交互，得到第一生成图像特征；基于所述通用文本特征和所述文本生成图像特征进行特征交互，得到第二生成图像特征，包括：
5.根据权利要求3所述的图像生成方法，其特征在于，所述基于所述第一生成图像特征和所述第二生成图像特征，以及所述领域知识...
【专利技术属性】
技术研发人员：杨硕，王众，金玥，何山，殷兵，刘聪，周良，胡金水，支洪平，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。