【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种多模态大模型同步训练和语义关联构建系统及其训练方法。
技术介绍
1、随着计算机技术的不断发展，网络信息中存在各种不同模态的数据，例如文本、图像、音频等。人工智能技术中依据处理的数据类型不同被划分为：自然语言处理、计算机视觉、语音识别等，这种以任务为导向的划分方式，造成了普遍只关注单一模态的数据，不利于多模态数据的处理。虽然现有的多模态大模型(如qwen-vl)，通过拼接大语言模型和视觉模型来实现多模态输入的支持。然而，这些模型通常采用多阶段预训练方式，其中在训练一个模态时冻结另一个模态的参数，导致不同模态之间的信息融合不够紧密，协调性较差。
技术实现思路
1、本申请实施例通过提供一种多模态大模型同步训练和语义关联构建系统及其训练方法，将多模态大模型同步训练和语义关联，通过同步训练机制、模态交互网络、语义关联优化、多模态特征融合和自适应学习率调整，能够有效解决现有多模态大模型在信息融合和协调性方面的不足，为人工智能领域提供一种新的解决方案。
2、本申请实施例提供了一种多模态大模型同步训练和语义关联构建系统，包括信息采集单元，用于采集处理数据的多种模态信息，该采集的多种模态信息包括文本信息、语音信息以及图像信息；
3、信息预处理单元，对所采集的多种模态信息进行预处理，该处理内容包括文本分析、语音识别、图像分类，进行数据信息特征归类，并将每个数据信息特征进行数值量化、排序编码后，获得预处理后的数据信息；
4、模型构建
5、模型训练单元，对初始模型进行训练，通过训练初始模型使其多次学习目标信息的语言，获得多个预训练模型；
6、信息交互单元，初始模型进行训练过程中，多个初始模型之间相互进行数据信息交互，使相同数据信息进行融合，相似数据信息之间进行交汇；
7、信息处理单元，对相互融合或是交汇的数据信息特征进行解码排序、数值量化，重新获得新的数据信息特征，结合文本生成技术将新的数据信息特征生成目标数据信息文本；
8、输出单元，利用语音合成将目标数据信息文本进行读出。
9、进一步的，构建系统还包括评价单元，根据输出的目标数据信息文本，判断训练模型所生成的数据信息与目标信息特征的差异，并将该判断信息反馈给信息调整单元；
10、信息调整单元，依据评价单元反馈的数据信息，将训练模型进行数据信息调整，对训练模型进行优化训练，以减少训练模型所生成的数据信息与目标信息特征的差异。
11、进一步的信息预处理单元包括文本信息提取模块、语音信息提取模块；
12、文本信息提取模块对多种模态信息中的语言文本进行分析，生成文字记录，并提取文字特征；
13、语音信息提取模块对多种模态信息中的语音文本进行分析，采用语音识别获得语音文本的字面数据信息，提取语音特征。
14、进一步的信息交互单元包括文本信息处理模块、语音信息处理模块；
15、文本信息处理模块将多个初始模型之间的文本信息进行交融，能够动态调整不同模态之间的信息权重，以适应不同的任务和数据特性；
16、语音信息处理模块将多个初始模型之间的语音信息进行交融，能够动态调整不同模态之间的信息权重，以适应不同的任务和数据特性。
17、进一步的信息处理单元包括模态语义关联模块、模态特征融合模块；
18、模态语义关联模块能够将多种模态之间的语义进行相互关联，提高训练模型对复杂概念的理解和表达能力；
19、模态特征融合模块将多种模态的数据信息特征进行整合，通过数据信息特征融合，训练模型能够更全面地理解输入数据，提高任务执行的准确性。
20、多模态大模型同步训练和语义关联构建系统的模型训练方法，具体包括以下过程：
21、(1)采集多种模态数据信息，该采集的多种模态信息包括文本信息、语音信息以及图像信息；
22、(2)对所采集的多模态数据信息进行预处理，将每个特征进行数值量化、排序编码后，获得预处理后的信息；
23、(3)依据预处理后的信息构建初始模型；
24、(4)对构建的所有初始模型同步进行训练，通过训练使初始模型分析学习多模态数据信息的文字、语言、图形等特征，从而获得多个训练模型；
25、(5)将各模态数据信息进行交互，多个初始模型之间相互进行数据信息交互，使相同数据信息进行融合，相似数据信息之间进行交汇，利用训练模型生成将每个特征进行解排序、数值量化，获得新的信息特征进行输出；
26、(6)根据输出的目标数据信息文本，判断训练模型所生成的数据信息与目标信息特征的差异，并将该判断信息反馈给信息调整单元；
27、(7)依据评价单元反馈的数据信息，将训练模型进行数据信息调整，对训练模型进行优化训练，以减少训练模型所生成的数据信息与目标信息特征的差异。
28、本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：将多模态大模型同步训练和语义关联，通过同步训练机制、模态交互网络、语义关联优化、多模态特征融合和自适应学习率调整，能够有效解决现有多模态大模型在信息融合和协调性方面的不足，为人工智能领域提供一种新的解决方案。
本文档来自技高网...【技术保护点】
1.一种多模态大模型同步训练和语义关联构建系统，其特征在于：包括信息采集单元，用于采集处理数据的多种模态信息，该采集的多种模态信息包括文本信息、语音信息以及图像信息；
2.如权利要求1所述的一种多模态大模型同步训练和语义关联构建系统，其特征在于：构建系统还包括评价单元，根据输出的目标数据信息文本，判断训练模型所生成的数据信息与目标信息特征的差异，并将该判断信息反馈给信息调整单元；
3.如权利要求1所述的一种多模态大模型同步训练和语义关联构建系统，其特征在于：信息预处理单元包括文本信息提取模块、语音信息提取模块；
4.如权利要求1所述的一种多模态大模型同步训练和语义关联构建系统，其特征在于：信息交互单元包括文本信息处理模块、语音信息处理模块；
5.如权利要求1所述的一种多模态大模型同步训练和语义关联构建系统，其特征在于：信息处理单元包括模态语义关联模块、模态特征融合模块；
6.多模态大模型同步训练和语义关联构建系统的模型训练方法，其特征在于：具体包括以下过程：
【技术特征摘要】
1.一种多模态大模型同步训练和语义关联构建系统，其特征在于：包括信息采集单元，用于采集处理数据的多种模态信息，该采集的多种模态信息包括文本信息、语音信息以及图像信息；
2.如权利要求1所述的一种多模态大模型同步训练和语义关联构建系统，其特征在于：构建系统还包括评价单元，根据输出的目标数据信息文本，判断训练模型所生成的数据信息与目标信息特征的差异，并将该判断信息反馈给信息调整单元；
3.如权利要求1所述的一种多模态大模型同步训练和语义关联构...
【专利技术属性】
技术研发人员：陈科儒，
申请(专利权)人：中健华夏中医药产业发展广东有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。