【技术实现步骤摘要】
本专利技术属于计算机辅助设计领域，具体涉及基于大模型的多模态设计信息统一表达与推理方法。
技术介绍
1、产品概念设计是一个根据设计任务生成产品方案的复杂过程，需要设计师对设计方案中包含的信息进行深入的分析、理解和推断，以捕捉抽象、模糊的用户需求中的关键信息，推理出可行的高质量设计方案。传统的计算机辅助概念设计推理方法（例如实例推理、定性推理和利用神经网络的推理等）大多是对设计实例、设计规则等已有信息的模仿与遵循，未能真正理解方案的演化过程。这些推理方法对辅助信息与设计任务之间相关性的要求较高，因而通常仅适用于特定产品，缺乏通用的设计知识与泛化能力。
2、产品概念创新设计的类脑认知模型主要处理以多模态方式呈现的设计信息，并形成语义认知空间以理解、表达和推演设计信息，实现设计信息的知识化。现有主流计算机辅助设计或计算机辅助概念设计技术围绕单一媒体展开，如自然语言、符号逻辑、二维草图、二维图纸、三维模型等。但人类设计师以多模态、跨媒体方式处理设计信息、推进设计流程。传统计算机辅助设计模式中，人类设计师与智能系统之间在处理设计信息方面形式迥异、难以融合。概念创新设计的类脑认知模型有两大新特点:一是使计算机或智能系统具备多模态设计信息表达与处理能力，二是为人机协同的设计信息处理提供基础。多模态设计信息表现为文本、图像、数字模型、神经网络，多模态信息表征与处理是类脑认知的基本特征。人机协同的设计信息处理是利用受类脑认知启发的智能算法来增强智能系统和人类设计师的问题定义、设计求解、灵感激发等能力。
3、在人机协作设计过
4、然而，现有多模态大模型对多模态数据的处理只停留在模态的对齐，即将多模态数据映射到llm所能理解的文本空间。仅使用多模态大模型理解设计方案会缺乏对多模态设计信息之间语义关联的充分挖掘。因此，目前仍缺少一种能够同时对设计方案多模态信息及其演化过程进行深入理解的产品概念设计方案推理方法。换言之，在现有的大模型参与的概念设计推理方法中，大模型提供的反馈大多是对设计师提问或指令的响应，未能充分理解和利用完整设计方案中的设计信息，进而对设计师设计思路以及当前设计进程的未能做到及时和准确的反馈。
技术实现思路
1、本专利技术提供了一种基于大模型的多模态设计信息统一表达与推理方法，该方法能够将设计方案中的重要信息，即功能、结构和行为信息及其联系转换成图网络，从而较为准确的实现多模态统一表达，并基于多模态统一表达下的不同时刻的图网络的变化使得大模型能够准确和及时地理解设计师的思路和设计进程，进而实现对设计方案的优化。
2、本专利技术具体实施例提供了一种基于大模型的多模态设计信息统一表达与推理方法，包括：
3、基于上一时刻的图网络利用大模型从当前设计方案中提取出新的结构节点以及新的结构节点与其他结构节点间的连边，以更新上一时刻的图网络得到第一图网络，基于第一图网络利用大模型从当前设计方案中提取出新的功能节点以及新的功能节点与新的结构节点和/或其他结构节点间的连边，以更新第一图网络得到第二图网络，基于第二图网络利用大模型从当前设计方案中提取出新的行为节点以及新的行为节点与新的功能节点和/或其他功能节点的连边，以更新第二图网络得到当前时刻的图网络；
4、利用思维图通过大模型对不同时刻的图网络进行比较得到功能、结构和行为三个维度的变化描述，基于功能、结构和行为三个维度的变化描述分别利用大模型得到每个维度对应的多个设计方案，基于设定的评估规则通过大模型分别对每个维度的多个设计方案进行评估分别得到功能、结构和行为对应的最优设计方案，将功能、结构和行为对应的最优设计方案进行聚合得到当前时刻的优化设计方案。
5、进一步的，所述基于上一时刻的图网络利用大模型从当前设计方案中提取出新的结构节点以及新的结构节点与其他结构节点间的连边，包括：
6、将第一提示词输入大模型得到新的结构节点，所述第一提示词由第一指令性语句、第一输出示例、当前设计方案和上一时刻的图网络构建，通过第一指令性语句使得大模型得到第一指令，所述第一指令为获得新的结构节点，通过第一输出示例使得大模型输出的结果的语句结构与第一输出示例的语句结构相同；
7、将第二提示词输入大模型得到新的结构节点与其他结构节点间的连边，所述第二提示词由第二指令性语句、第二输出示例、结构节点集合、当前设计方案和上一时刻的图网络构建，通过第二指令性语句使得大模型得到第二指令，所述第二指令为获得新的结构节点与其他结构节点间的连边，通过第二输出示例使得大模型输出的结果的语句结构与第二输出示例的语句结构相同，所述结构节点集合包括新的结构节点与其他结构节点，所述其他结构节点为上一时刻的图网络包含的结构节点。
8、进一步的，所述基于第一图网络利用大模型从当前设计方案中提取出新的功能节点以及新的功能节点与新的结构节点和/或其他结构节点间的连边，包括：
9、将第三提示词输入大模型得到新的功能节点，其中，所述第三提示词由第三指令性语句、第三输出示例、当前设计方案、上一时刻的图网络和结构节点集合构建，通过第三指令性语句使得大模型得到第三指令，所述第三指令为获得新的功能节点，通过第三输出示例使得大模型输出的结果的语句结构与第三输出示例的语句结构相同，所述结构节点集合包括新的结构节点和其他结构节点，所述其他结构节点为上一时刻的图网络包含的结构节点；
10、将第四提示词输入大模型得到新的功能节点与新的结构节点和/或其他结构节点间的连边，其中，所述第四提示词由第四指令性语句、第四输出示例、当前设计方案、上一时刻的图网络和结构节点集合构建，通过第四指令性语句使得大模型得到第四指令，所述第四指令为获得新的功能节点与新的结构节点和/或其他结构节点间的连边，通过第四输出示例使得大模型输出的结果的语句结构与第四输出示例的语句结构相同。
11、进一步的，所述基于第二图网络利用大模型从当前设计方案中提取出新的行为节点以及新的行为节点与新的功能节点和/或其他功能节点的连边，包括：
12、将第五提示词输入大模型得到新的行为节点，其中，所述第五提示词由第五指令性语句、第五输出示例、当前设计方案、上一时刻的图网络、结构节点集合和功能节点集合构建，通过第五指令性语句使得大模型得到第五指令，所述第五指令为获得新的行为节点，通过第五输出示例使得大模型输出的结果的语句结构与第五输出示例的语句结构相同，所述结构节点集合包括新的结构节点和其他结构节点，所述其他结构节点为上一时刻的图网络包含的结构节点，所述功能节点集合包括新的功能节点和本文档来自技高网...
【技术保护点】
1.一种基于大模型的多模态设计信息统一表达与推理方法，其特征在于，包括：
2.根据权利要求1所述的基于大模型的多模态设计信息统一表达与推理方法，其特征在于，所述基于上一时刻的图网络利用大模型从当前设计方案中提取出新的结构节点以及新的结构节点与其他结构节点间的连边，包括：
3.根据权利要求1所述的基于大模型的多模态设计信息统一表达与推理方法，其特征在于，所述基于第一图网络利用大模型从当前设计方案中提取出新的功能节点以及新的功能节点与新的结构节点和/或其他结构节点间的连边，包括：
4.根据权利要求1所述的基于大模型的多模态设计信息统一表达与推理方法，其特征在于，所述基于第二图网络利用大模型从当前设计方案中提取出新的行为节点以及新的行为节点与新的功能节点和/或其他功能节点的连边，包括：
5.根据权利要求1所述的基于大模型的多模态设计信息统一表达与推理方法，其特征在于，构建第一个图网络的方法，包括：
6.根据权利要求1所述的基于大模型的多模态设计信息统一表达与推理方法，其特征在于，所述利用思维图通过大模型对上一时刻和当前时刻的图
7.根据权利要求1所述的基于大模型的多模态设计信息统一表达与推理方法，其特征在于，所述思维图包括控制器、提示词生成器、解析器和评估模块；
8.根据权利要求7所述的基于大模型的多模态设计信息统一表达与推理方法，其特征在于，通过操作指令使得当前层次的思想节点指向下一个层次的思想节点，所述操作指令包括生成、聚合、完善、评分和选择。
9.根据权利要求1所述的基于大模型的多模态设计信息统一表达与推理方法，其特征在于，将图网络输入大模型前，将图网络采用邻接表的形式存储，并将存储的图网络以字符串的形式转换为自然语言描述。
...【技术特征摘要】
1.一种基于大模型的多模态设计信息统一表达与推理方法，其特征在于，包括：
2.根据权利要求1所述的基于大模型的多模态设计信息统一表达与推理方法，其特征在于，所述基于上一时刻的图网络利用大模型从当前设计方案中提取出新的结构节点以及新的结构节点与其他结构节点间的连边，包括：
3.根据权利要求1所述的基于大模型的多模态设计信息统一表达与推理方法，其特征在于，所述基于第一图网络利用大模型从当前设计方案中提取出新的功能节点以及新的功能节点与新的结构节点和/或其他结构节点间的连边，包括：
4.根据权利要求1所述的基于大模型的多模态设计信息统一表达与推理方法，其特征在于，所述基于第二图网络利用大模型从当前设计方案中提取出新的行为节点以及新的行为节点与新的功能节点和/或其他功能节点的连边，包括：
5.根据权利要求1所述的基于大模型的多模态设计信息统一表达与推理方...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。