【技术实现步骤摘要】
本专利技术涉及基于低秩矩阵分解的智慧家庭大模型垂域适配方法。
技术介绍
1、随着大模型技术的不断进步，其影响力已经逐渐扩展到我们日常生活和生产的各个领域。虽然通用的大模型技术具备广泛的泛化能力，但在面对特定领域时，通常需要进行针对性的垂域模型训练。然而，传统垂域训练方法存在一些不足之处：(1)数据稀缺：特定领域的数据可能难以获取，导致训练数据不足。(2)数据质量不一：收集到的数据可能存在噪声、不准确或不完整。(3)模型泛化能力差：模型在特定领域的数据上表现良好，但在其他领域或未见过的样本上表现不佳。(4)计算资源消耗大：训练大型模型通常需要大量的计算资源。
2、现有的垂域模型训练及适配的方案，在特定领域，尤其是智慧家庭领域，获取足够的训练数据是一个挑战，因为这些数据可能难以收集或成本高昂。即使能够收集到数据，这些数据也可能包含噪声、不准确或不完整的信息，这会影响模型训练的质量和效果。训练大型模型通常需要大量的计算资源，这不仅增加了成本，也限制了在资源受限的环境中的应用。
技术实现思路
1、本专利技术所要解决的技术问题总的来说是提供一种基于低秩矩阵分解的智慧家庭大模型垂域适配方法,旨在解决现有技术中智慧家庭领域模型训练和适配过程中遇到的挑战。从而提供一个高效、准确、安全且用户友好的智慧家庭大模型垂域适配解决方案，以推动智慧家庭技术的发展和普及，同时解决现有技术在数据利用、数据质量、模型泛化、计算资源消耗等方面的不足。其更适用于智慧家居的垂域场景。
2、为解决上
3、一种基于低秩矩阵分解的智慧家庭大模型垂域适配方法，方法包括以下步骤；
4、步骤一，进行垂域数据准备；垂域数据包括语料、图像及模型；
5、步骤二，对图像标签数据提取；
6、步骤三，对图像标签数据清洗；
7、步骤四，对垂域场景标签数据标注；
8、步骤五，视觉lora模型微调；
9、步骤六，标签数据提示词化。
10、进一步，在步骤一中，语料，用于垂域微调模型训练的语料提示词，包括问题描述和内容回复；
11、图像，用于垂域场景视觉微调模型训练的图像；
12、模型，用于模型微调使用的基础大模型或多模态视觉模型。
13、进一步，该方法基于的基础大模型，基础大模型包括语言大模型及视觉大模型。
14、进一步，在步骤二中，将步骤一的垂域场景图像送到基础视觉大模型或者多模态视觉模型，通过图像内容理解或者提示词反推，获取数据标签内容；
15、数据标签内容的排列顺序的规则为权重最高的排在最前面，依次后推；
16、识别当前的图像数据的该垂域场景的关键词。
17、进一步，在步骤三中，对已经实现图像内容识别的数据标签进行清洗，剔除掉认为是干扰的或者认为忽略的数据标签。
18、进一步，在步骤二中，对厨房数据场景进行数据提取；
19、在步骤四中，按照步骤三对标签数据进行清洗或清除；对认为重要的或需要被重点识别内容进行重新标注和排序；
20、其将步骤二中的厨房数据场景提取出的数据标签进行定制化的标注，例如，将原有识别到的“refrigerator”，定制化修改为“haier_regrigerator”。
21、进一步，在步骤五，对步骤四已经重新进行标签处理后的垂域场景数据进行微调模型训练。
22、进一步，在步骤六，对步骤四中新增的或调整后的数据标签进行提示词化，基于步骤四中出现的关键词，展开针对当前垂域场景的描述和提问，即进行步骤语言lora模型微调。
23、进一步，通过视觉模型微调，同步配合语言模型与该视觉模型微调的效果对齐，实现垂域场景的大模型训练及其垂域场景适配。
24、进一步，对视觉模型和语言模型同步微调，通过视觉模型图像内容识别的提示词标签，对提示词转化处理，实现生成效果对齐。
25、进一步，提示词包括关键信息；关键信息包括任务、需求、指令及角色；
26、其中，
27、任务，要求chatgpt完成设定任务，生成的内容并进行陈述；
28、需求，交代任务的背景需求。
29、指令，在生成文本时，chatgpt遵循的指令，满足设定条件或规则；
30、角色，模型在生成文本时设定扮演的角色。
31、本专利技术解决以下技术问题：
32、(1)提高数据利用效率：通过低秩矩阵分解技术，本专利技术能够更有效地利用有限的特定领域数据，克服数据稀缺的问题，从而提高模型的训练效果。
33、(2)改善数据质量：本专利技术通过先进的数据处理技术，如降噪和数据清洗，来提高数据质量，确保模型训练的准确性和可靠性。
34、(3)增强模型泛化能力：利用低秩矩阵分解，本专利技术能够提取关键特征并优化模型结构，从而提高模型在不同领域和未知样本上的泛化能力。
35、(4)降低计算资源消耗：本专利技术采用的低秩矩阵分解方法能够有效减少模型训练过程中的计算负担，降低对计算资源的需求，使得在资源受限的环境中也能进行有效的模型训练。
36、(5)提升模型适配速度：通过优化模型结构和训练过程，本专利技术能够加快智慧家庭大模型在特定垂域的适配速度，缩短用户等待时间，提升用户体验。
37、(6)提高模型的可扩展性和灵活性：本专利技术的方法能够适应智慧家庭领域内不断变化的技术需求和用户偏好，使得模型能够快速适应新的设备和场景。
38、(7)定制化场景标注：通过增加对垂域场景的图像数据处理和定制化场景标注，本专利技术能够更准确地理解和响应特定场景的需求。
39、(8)微调视觉和语言模型：通过在基础视觉大模型和基础语言大模型中实现微调，本专利技术能够实现更精确的控制和响应，提高智慧家庭系统的整体性能和用户体验。
本文档来自技高网...【技术保护点】
1.基于低秩矩阵分解的智慧家庭大模型垂域适配方法，其特征在于：方法包括以下步骤；
2.根据权利要求1所述的基于低秩矩阵分解的智慧家庭大模型垂域适配方法，其特征在于：在步骤一中，语料，用于垂域微调模型训练的语料提示词，包括问题描述和内容回复；
3.根据权利要求1所述的基于低秩矩阵分解的智慧家庭大模型垂域适配方法，其特征在于：该方法基于的基础大模型，基础大模型包括语言大模型及视觉大模型。
4.根据权利要求1所述的基于低秩矩阵分解的智慧家庭大模型垂域适配方法，其特征在于：在步骤二中，将步骤一的垂域场景图像送到基础视觉大模型或者多模态视觉模型，通过图像内容理解或者提示词反推，获取数据标签内容；
5.根据权利要求1所述的基于低秩矩阵分解的智慧家庭大模型垂域适配方法，其特征在于：在步骤三中，对已经实现图像内容识别的数据标签进行清洗，剔除掉认为是干扰的或者认为忽略的数据标签。
6.根据权利要求1所述的基于低秩矩阵分解的智慧家庭大模型垂域适配方法，其特征在于：在步骤二中，对厨房数据场景进行数据提取；
7.根据权利要求1所述的
8.根据权利要求1所述的基于低秩矩阵分解的智慧家庭大模型垂域适配方法，其特征在于：在步骤六，对步骤四中新增的或调整后的数据标签进行提示词化，基于步骤四中出现的关键词，展开针对当前垂域场景的描述和提问，即进行步骤语言LoRA模型微调。
9.根据权利要求1所述的基于低秩矩阵分解的智慧家庭大模型垂域适配方法，其特征在于：通过视觉模型微调，同步配合语言模型与该视觉模型微调的效果对齐，实现垂域场景的大模型训练及其垂域场景适配；
10.根据权利要求1所述的基于低秩矩阵分解的智慧家庭大模型垂域适配方法，其特征在于：提示词包括关键信息；关键信息包括任务、需求、指令及角色；其中，
...【技术特征摘要】
1.基于低秩矩阵分解的智慧家庭大模型垂域适配方法，其特征在于：方法包括以下步骤；
2.根据权利要求1所述的基于低秩矩阵分解的智慧家庭大模型垂域适配方法，其特征在于：在步骤一中，语料，用于垂域微调模型训练的语料提示词，包括问题描述和内容回复；
3.根据权利要求1所述的基于低秩矩阵分解的智慧家庭大模型垂域适配方法，其特征在于：该方法基于的基础大模型，基础大模型包括语言大模型及视觉大模型。
4.根据权利要求1所述的基于低秩矩阵分解的智慧家庭大模型垂域适配方法，其特征在于：在步骤二中，将步骤一的垂域场景图像送到基础视觉大模型或者多模态视觉模型，通过图像内容理解或者提示词反推，获取数据标签内容；
5.根据权利要求1所述的基于低秩矩阵分解的智慧家庭大模型垂域适配方法，其特征在于：在步骤三中，对已经实现图像内容识别的数据标签进行清洗，剔除掉认为是干扰的或者认为忽略的数据标签。
6.根据权利要求1所述的基于低秩...
【专利技术属性】
技术研发人员：郭保琪，孙宏霞，程航，冷君阁，田云龙，牛丽，刘洋，李松，刘国强，田可，
申请(专利权)人：青岛海大新星软件咨询有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。