【技术实现步骤摘要】
本专利技术涉及人工智能应用，尤其涉及一种基于直接偏好优化多模态大语言模型的积水水深提取方法。
技术介绍
1、强降雨造成的积水或洪涝灾害是最常见的灾害之一，洪涝灾害造成的积水不仅会阻碍交通，造成阻塞，还会对街道和建筑物等基础设施造成损坏。而收集并识别洪涝灾害过程中的水深信息可以直接反映洪涝灾害的严重程度，从而促进应急措施的实施，因此，在洪涝灾害时期对水深的识别是十分重要的。
2、受气象因素和观测条件的限制，传统的积水或洪涝灾害数据源越来越无法满足日益频繁的洪涝灾害。通过机载或遥感卫星影像对洪水事件进行实时监测时，恶劣的天气条件会限制影像的能见度，特别是在强降雨时期。同时，卫星的重返时间也限制了数据的及时性，高分辨率光学遥感卫星通常需要事发几天后才能获得高分辨率图像。最后，通过遥感影像无法获取地下区域，如车库、地铁内的积水情况。其他方式也存在一定问题，如水位观测传感器由于分布有限，无法做到大范围的监测，而基于地表水和地下管网的洪水模拟模型由于物理机制复杂，需要大量的计算资源，无法做到及时的监测。
3、与传统数据源相比，众源的社交媒体大数据能够实时收集城市洪涝主题相关的时空信息。在发生极端灾害或紧急情况时，民众会自发通过社交媒体寻求帮助和上传灾害情况并进行信息传递。通过收集社交媒体大数据，可以反映灾害各个阶段的发展过程，有助于灾前预防、应急响应和灾后恢复等。由于众源的社交媒体大数据收集成本低，从中收集民众的报告来反映城市的积水区域是一种可行的途径，有助于提高对城市洪水深度信息的感知能力。
4、因此，
技术实现思路
1、本专利技术提供一种基于直接偏好优化多模态大语言模型的积水水深提取方法，用以解决现有技术中难以从繁杂的社交媒体数据准确提取水深信息的缺陷，实现一种基于社交媒体数据的积水水深提取方法。
2、本专利技术提供一种基于直接偏好优化多模态大语言模型的积水水深提取方法，包括：
3、获取待识别的社交媒体内容；
4、将所述待识别的社交媒体内容输入预训练的水深识别模型，获得所述水深识别模型输出的水深识别结果，其中，所述水深识别模型为基于令牌级直接偏好优化策略训练得到的多模态大语言模型
5、根据本专利技术提供的一种基于直接偏好优化多模态大语言模型的积水水深提取方法，所述将所述待识别的社交媒体内容输入预训练的水深识别模型的步骤之前，还包括：
6、使用直接偏好优化策略对多模态大语言模型进行训练，训练过程中在所述直接偏好优化策略原有的评分计算基础上加入了对不同文本模块的权重。
7、根据本专利技术提供的一种基于直接偏好优化多模态大语言模型的积水水深提取方法，所述使用直接偏好优化策略对多模态大语言模型进行训练的步骤之前，还包括：
8、获取多条积水水深相关的社交媒体数据，筛选出包含地理位置的社交媒体数据；
9、对不同模态的社交媒体数据进行标注，得到用于训练所述水深识别模型的数据集。
10、根据本专利技术提供的一种基于直接偏好优化多模态大语言模型的积水水深提取方法，所述对不同模态的社交媒体数据进行标注的步骤，具体包括：
11、对文字模态的数据，按照预设格式提取并标准文字数据中的地理位置和水深信息；
12、对于图像模态的数据，预先确定多个对图像数据提问的指令，将依次将指令与每条图像数据输入至多模态大语言模型，获取所述多模态大语言模型输出的识别结果，在所述识别结果的基础上针对其中的错误部分修正，得到正确的回复结果，将正确的回复结果作为正样本，将所述识别结果作为负样本；
13、对于视频模态的数据，间隔预设时长提取一帧视频数据的画面，作为图像数据进行标注。
14、根据本专利技术提供的一种基于直接偏好优化多模态大语言模型的积水水深提取方法，所述获得所述水深识别模型输出的水深识别结果的步骤之后，还包括：
15、预先定义水深等级并归类水深描述，基于定义的水深等级训练得到水深等级模型；
16、将所述水深识别结果输入所述水深等级模型，获取所述水深等级模型输出的水深等级结果。
17、根据本专利技术提供的一种基于直接偏好优化多模态大语言模型的积水水深提取方法，所述获取所述水深等级模型输出的水深等级结果的步骤之后，还包括：
18、对所述水深等级结果进行可视化处理。
19、本专利技术还提供一种基于直接偏好优化多模态大语言模型的积水水深提取装置，包括：
20、获取模块，用于获取待识别的社交媒体内容；
21、识别模块，用于将所述待识别的社交媒体内容输入预训练的水深识别模型，获得所述水深识别模型输出的水深识别结果，其中，所述水深识别模型为基于令牌级直接偏好优化策略训练得到的多模态大语言模型。
22、根据本专利技术提供的一种基于直接偏好优化多模态大语言模型的积水水深提取装置，还包括：
23、分级模块，用于预先定义水深等级并归类水深描述，基于定义的水深等级训练得到水深等级模型；
24、将所述水深识别结果输入所述水深等级模型，获取所述水深等级模型输出的水深等级结果。
25、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于直接偏好优化多模态大语言模型的积水水深提取方法。
26、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于直接偏好优化多模态大语言模型的积水水深提取方法。
27、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于直接偏好优化多模态大语言模型的积水水深提取方法。
28、本专利技术提供的基于直接偏好优化多模态大语言模型的积水水深提取方法，通过令牌级直接偏好优化策略对多模态大语言模型进行训练得到水深识别模型，从而使得水深识别模型能更加准确地根据输入的目标区域目标时段的待识别社交媒体内容识别出其对应的水深信息，最终能够根据目标区域目标时段的多条待识别社交媒体内容获取目标地区在目标时段的水深识别结果。
本文档来自技高网...【技术保护点】
1.一种基于直接偏好优化多模态大语言模型的积水水深提取方法，其特征在于，包括：
2.根据权利要求1所述的基于直接偏好优化多模态大语言模型的积水水深提取方法，其特征在于，所述将所述待识别的社交媒体内容输入预训练的水深识别模型的步骤之前，还包括：
3.根据权利要求1所述的基于直接偏好优化多模态大语言模型的积水水深提取方法，其特征在于，所述使用直接偏好优化策略对多模态大语言模型进行训练的步骤之前，还包括：
4.根据权利要求3所述的基于直接偏好优化多模态大语言模型的积水水深提取方法，其特征在于，所述对不同模态的社交媒体数据进行标注的步骤，具体包括：
5.根据权利要求1-4任一项所述的基于直接偏好优化多模态大语言模型的积水水深提取方法，其特征在于，所述获得所述水深识别模型输出的水深识别结果的步骤之后，还包括：
6.根据权利要求5所述的基于直接偏好优化多模态大语言模型的积水水深提取方法，其特征在于，所述获取所述水深等级模型输出的水深等级结果的步骤之后，还包括：
7.一种基于直接偏好优化多模态大语言模型的积水水深提取装置，
8.根据权利要求7所述的基于直接偏好优化多模态大语言模型的积水水深提取装置，其特征在于，还包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于直接偏好优化多模态大语言模型的积水水深提取方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于直接偏好优化多模态大语言模型的积水水深提取方法。
...【技术特征摘要】
1.一种基于直接偏好优化多模态大语言模型的积水水深提取方法，其特征在于，包括：
2.根据权利要求1所述的基于直接偏好优化多模态大语言模型的积水水深提取方法，其特征在于，所述将所述待识别的社交媒体内容输入预训练的水深识别模型的步骤之前，还包括：
3.根据权利要求1所述的基于直接偏好优化多模态大语言模型的积水水深提取方法，其特征在于，所述使用直接偏好优化策略对多模态大语言模型进行训练的步骤之前，还包括：
4.根据权利要求3所述的基于直接偏好优化多模态大语言模型的积水水深提取方法，其特征在于，所述对不同模态的社交媒体数据进行标注的步骤，具体包括：
5.根据权利要求1-4任一项所述的基于直接偏好优化多模态大语言模型的积水水深提取方法，其特征在于，所述获得所述水深识别模型输出的水深识别结果的步骤之后，还包括：
【专利技术属性】
技术研发人员：陈玉敏，褚天佑，张腾飞，闵万坤，刘立成，陈若璇，徐雅婷，
申请(专利权)人：武汉大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。