System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于多模态大模型的汽车金融贷后风险识别方法技术_技高网

一种基于多模态大模型的汽车金融贷后风险识别方法技术

技术编号:43276032 阅读:1 留言:0更新日期:2024-11-12 16:01
本发明专利技术公开了一种基于多模态大模型的汽车金融贷后风险识别方法,采用建立的多模态风控大模型对输入的信审文本、信审视频以及车辆GPS数据进行处理预测输出客户的风险程度与风险点描述;其中多模态风控大模型的建立包括:步骤一:基于金融大语言模型,使用汽车贷款的信审文本、信审视频以及车辆GPS数据,构建多模态风控大模型;步骤二:对多模态数据进行融合编码,并通过微调对大模型进行训练;步骤三:采用强化学习方法对训练数据集进行时序采样,对多模态风控大模型再次进行微调和结果评估,得到最优的多模态风控大模型。本发明专利技术基于对汽车金融领域的多模态数据进行处理,从而实现对汽车贷款全方位多角度的风险防控。

【技术实现步骤摘要】

本专利技术涉及金融风险的机器学习预测领域,特别涉及一种基于多模态大模型的汽车金融贷后风险识别方法


技术介绍

1、近年来汽车金融市场渗透率不断攀升,对汽车金融机构的风险管理能力提出了更高要求。在此背景下,越来越多的汽车金融机构利用大数据和人工智能技术实施风险管理数字化转型。通常而言,汽车消费信贷合同金额较高,骗贷机构会伪造贷款材料或诱骗征信白户申请分期购车,获得车辆后立刻通过非法途径售卖,以此骗取金融机构信贷资金。为有效实现汽车金融风险识别,需要充分利用不同阶段的多模态数据,如贷前信审数据(视频、文本等)、贷后车辆gps数据等。

2、传统的风险防控措施主要采用基于业务专家的经验来制定风控规则,或者使用历史黑名单匹配的方式来进行风险防控。这类方法一般可以根据历史经验或历史黑名单来检测可能存在的风险行为,且具备可解释性。但业务专家的经验存在时间范围限制,黑名单通常存在时效性和隐私方面的问题,导致这些方法也存在较大的局限性,难以应对新型的金融风险。随着人工智能技术的发展,基于机器学习和深度学习的方法逐渐被应用在风控领域以识别潜在的金融风险,这类方法可以有效提升风控的时效性。然而这类方法往往需要使用大量有标签数据进行模型训练,且模型仅仅输出客户发生风险的概率,难以输出对其预测结果的具体分析描述。


技术实现思路

1、本专利技术的目的在于克服现有技术的不足,提供一种基于多模态大模型的汽车金融贷后风险识别方法,该方法基于大语言模型构建多模态贷后风控大模型,实现对多模态多维度的用户信息进行挖掘,挖掘更多客户的隐藏信息,提高贷后风险识别的准确性和预警效率,为汽车金融机构提供更加精准和有效的风险预警决策支持。

2、为了实现上述目的,本专利技术采用的技术方案为:一种基于多模态大模型的汽车金融贷后风险识别方法,采用建立的多模态风控大模型对输入的信审文本、信审视频以及车辆gps数据进行处理预测输出客户的风险程度与风险点描述;其中多模态风控大模型的建立包括:

3、步骤一:基于金融大语言模型,使用汽车贷款的信审文本、信审视频以及车辆gps数据,构建多模态风控大模型;

4、步骤二:对多模态数据进行融合编码,并通过微调对大模型进行训练;

5、步骤三:采用强化学习方法对训练数据集进行时序采样,对多模态风控大模型再次进行微调和结果评估,得到最优的多模态风控大模型。

6、步骤一中,输入到多模态风控大模型中的数据进行预处理,针对视频数据的预处理包括采用基于重叠率的自适应采样和基于时间序列的固定采样的方法来获取确定数量的视频关键帧来作为视觉模态输入数据;针对gps数据的预处理包括将gps数据转换为视觉和文本两种模态的特征输入数据。

7、步骤一中基于多模态数据的风控大模型构建包括基于大语言模型结构,通过增加视觉模态编码结构,实现对视频和图像的处理,并加入视觉输入映射模块,将视觉模态向量对齐到文本模态向量空间,从而完成多模态大模型的构建。

8、多模态风控大模型的构建步骤包括:

9、step1.对客户的信审视频和gps数据进行预处理,得到视频帧集合{fj|j=1,2,3,...,l}和gps视觉图像,构建多模态大模型视觉特征输入集合{vi|i=1,2,3,...,l+1},并采用视觉编码器进行处理,得到视觉特征向量;

10、step2.将客户的信审文本与客户gps文本进行拼接,然后基于大语言模型的文本特征编码空间对构建的文本模态输入进行处理,以构建文本特征向量;

11、step3.构建可学习的视觉输入映射器,对视觉特征向量进行处理,将视觉模态的编码特征与文本特征空间进行对齐,以获取对齐后的视觉特征向量;

12、step4.将文本特征向量与对齐后的视觉特征向量进行融合,输入到基于大语言模型的主干网络中进行处理,输入相应的风控结果。

13、步骤二中,多模态风控大模型微调包括在完成多模态风控模型构建后,使用基于大模型构建的编码结构对输入的多模态信息进行编码,并通过微调对大模型进行训练,生成对风险程度与对应的风险点描述的预测结果,包括图片输入信息编码、文本输入信息融合、多模态输入向量对齐与训练微调大模型四个步骤。

14、视觉输入信息编码包括:视觉模态的输入信息包含两种:基于采样后的gps轨迹构建的gps图像与基于采样处理后得到的长度固定的信审视频帧集合;使用基于预训练模型的视觉编码器vit对这两类图片信息进行编码。

15、多模态输入向量对齐包括使用基于mlp的映射模型将视觉编码向量映射至文本语义编码空间,得到转换后的视觉编码向量vtvp将其与经过编码后的文本信息输入向量一并输入到llm中进行训练。

16、训练微调大模型步骤包括:通过基于低秩矩阵的微调方式对多模态风控大模型进行迭代更新,基于低秩矩阵的微调方法,通过构建与训练低秩矩阵,基于步骤二构建出来的视觉编码向量与文本编码向量,以专家标注的风险程度评估与风险点描述作为基准值,对待训练大模型进行更加适配领域内容的微调。

17、步骤三包括采用多种实训采样策略对训练数据集进行采样,然后通过构建的强化学习框架通过迭代对采样策略和步骤二中构建的多模态风控模型进行更新,获取最优的模型结果。

18、构建强化学习框架包括:

19、step1.定义状态空间st、动作空间at和奖励函数r(st,at)

20、step2.初始化状态s0

21、step3.根据当前状态st选择动作at,使用策略π(at|st)来选择动作,其中π是策略函数

22、step4.执行动作at并观察环境反馈的奖励rt和新状态st+1

23、step5.根据奖励更新策略,使用强化学习算法q-learning来更新策略函数

24、step6.重复step3-5,直到达到停止条件

25、其中:

26、状态空间st:定义为大模型在某个时间窗口[t,t+△t]中对样本数据预测的准确度,设计为连续的状态空间,来更精细的表示模型的性能变化;

27、动作空间at:定义为不同的采样方法,对时间窗口[t,t+△t]之前的数据集进行不同的基于时序策略的采样;

28、奖励函数r(st,at):使用模型的准确度作为奖励信号,设计为sigmoid函数的形式其中at表示模型在时间窗口[t,t+△t]的准确度,athreshold是预设的准确度阈值,α是控制奖励函数斜率的超参数;该奖励函数在模型准确度超过阈值时会趋于1,给予正奖励,而在模型准确度低于阈值时会趋于0,给予负奖励,通过这种方式引导模型学习,使其向着准确度高的方向优化;

29、策略函数π(at|st):模型优化策略选择函数其中at表示在时间步t选择的动作;st表示在时间步t时的状态,即时间窗口[t,t+△t]样本预测的准确度;q(st,at)表示状态-动作对(st,at)的估计值,是在训练过程中学习到的值本文档来自技高网...

【技术保护点】

1.一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:采用建立的多模态风控大模型对输入的信审文本、信审视频以及车辆GPS数据进行处理预测输出客户的风险程度与风险点描述;其中多模态风控大模型的建立包括:

2.如权利要求1所述的一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:步骤一中,输入到多模态风控大模型中的数据进行预处理,针对视频数据的预处理包括采用基于重叠率的自适应采样和基于时间序列的固定采样的方法来获取确定数量的视频关键帧来作为视觉模态输入数据;针对GPS数据的预处理包括将GPS数据转换为视觉和文本两种模态的特征输入数据。

3.如权利要求1所述的一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:步骤一中基于多模态数据的风控大模型构建包括基于大语言模型结构,通过增加视觉模态编码结构,实现对视频和图像的处理,并加入视觉输入映射模块,将视觉模态向量对齐到文本模态向量空间,从而完成多模态大模型的构建。

4.如权利要求3所述的一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:多模态风控大模型的构建步骤包括:</p>

5.如权利要求1-4任一所述的一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:步骤二中,多模态风控大模型微调包括在完成多模态风控模型构建后,使用基于大模型构建的编码结构对输入的多模态信息进行编码,并通过微调对大模型进行训练,生成对风险程度与对应的风险点描述的预测结果,包括图片输入信息编码、文本输入信息融合、多模态输入向量对齐与训练微调大模型四个步骤。

6.如权利要求5所述的一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:视觉输入信息编码包括:视觉模态的输入信息包含两种:基于采样后的GPS轨迹构建的GPS图像与基于采样处理后得到的长度固定的信审视频帧集合;使用基于预训练模型的视觉编码器ViT对这两类图片信息进行编码。

7.如权利要求5所述的一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:多模态输入向量对齐包括使用基于MLP的映射模型将视觉编码向量映射至文本语义编码空间,得到转换后的视觉编码向量vTvp将其与经过编码后的文本信息输入向量一并输入到LLM中进行训练。

8.如权利要求5所述的一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:训练微调大模型步骤包括:通过基于低秩矩阵的微调方式对多模态风控大模型进行迭代更新,基于低秩矩阵的微调方法,通过构建与训练低秩矩阵,基于步骤二构建出来的视觉编码向量与文本编码向量,以专家标注的风险程度评估与风险点描述作为基准值,对待训练大模型进行更加适配领域内容的微调。

9.如权利要求1-8任一所述的一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:步骤三包括采用多种实训采样策略对训练数据集进行采样,然后通过构建的强化学习框架通过迭代对采样策略和步骤二中构建的多模态风控模型进行更新,获取最优的模型结果。

10.如权利要求9所述的一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:构建强化学习框架包括:

...

【技术特征摘要】

1.一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:采用建立的多模态风控大模型对输入的信审文本、信审视频以及车辆gps数据进行处理预测输出客户的风险程度与风险点描述;其中多模态风控大模型的建立包括:

2.如权利要求1所述的一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:步骤一中,输入到多模态风控大模型中的数据进行预处理,针对视频数据的预处理包括采用基于重叠率的自适应采样和基于时间序列的固定采样的方法来获取确定数量的视频关键帧来作为视觉模态输入数据;针对gps数据的预处理包括将gps数据转换为视觉和文本两种模态的特征输入数据。

3.如权利要求1所述的一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:步骤一中基于多模态数据的风控大模型构建包括基于大语言模型结构,通过增加视觉模态编码结构,实现对视频和图像的处理,并加入视觉输入映射模块,将视觉模态向量对齐到文本模态向量空间,从而完成多模态大模型的构建。

4.如权利要求3所述的一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:多模态风控大模型的构建步骤包括:

5.如权利要求1-4任一所述的一种基于多模态大模型的汽车金融贷后风险识别方法,其特征在于:步骤二中,多模态风控大模型微调包括在完成多模态风控模型构建后,使用基于大模型构建的编码结构对输入的多模态信息进行编码,并通过微调对大模型进行训练,生成对风险程度与对应的风险点描述的预测结果,包括图片输入信息编码、文本输入信息融合、多模态输入向量对...

【专利技术属性】
技术研发人员:王延松张磊孙吉王蒙
申请(专利权)人:奇瑞徽银汽车金融股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1