基于循环神经网络与注意力机制的金融用户画像方法技术

本发明专利技术公开了一种基于循环神经网络与注意力机制的金融用户画像方法，旨在通过提出面向金融领域的用户画像模型和构建方法，用于金融企业的用户分类、精准营销、用户行为研究等应用。该方法特点包括：对金融时序数据特征进行预处理；构建金融用户画像标签系统；通过Embedding机制将输入信息进行变换；使用循环神经网络与注意力机制，对金融用户画像进行建模，并聚焦于关键时刻的操作信息，最终得到金融用户画像的标签结果。本发明专利技术由于针对金融时序数据使用了了金融时序数据预处理、金融用户标签系统、金融特征向量Embedding机制、基于循环神经网络与用户时序操作的注意力机制的金融用户画像模型，能够取得较好的效率和准确率。率。率。

【技术实现步骤摘要】
基于循环神经网络与注意力机制的金融用户画像方法


[0001]本专利技术涉及金融大数据、人工智能、深度学习，尤其是一种针对金融用户操作所产生的时序数据对其进行用户画像分类的方法。

技术介绍

[0002]目前，随着互联网飞速发展，金融的业务、消费和产品发生了巨大的变革，金融企业不再像从前那样能够轻易接触到用户，并且随着国家金融改革的力度不断加深，人们产生了多元化的金融诉求，金融公司所提供的产品服务需要不断迭代以满足客户需求，因此催生出金融用户画像的需求，金融企业借助于用户画像技术，分析数据来了解客户、改进产品迎合客户习惯。如运营商对客户画像来对用户征信，信息安全部门利用日志来对用户画像分析其目标风险。然而，不同领域的用户画像需求都不太相同，包括数据来源、数据形式、用户画像标签、业务需求、应用场景各式各样，当前已有的金融用户画像方法都没有很好地针对金融用户的时序数据方面进行处理和分类。本专利技术结合循环神经网络模型和注意力机制的金融用户画像分类模型有效地对时序数据进行建模，并为重要时刻的金融用户行为分配更高的权重。
[0003]循环神经网络是一种用于处理时序数据的神经网络模型，它可以专门用于处理如x1,x2,...xt的序列。循环神经网络的优点是在模型的不同部分共享参数，使得模型能够拓展到不同长度的样本，对于相互依赖性很强的数据流形式，循环神经网络具有天然的优势，帮助系统获取上下文信息。因此循环神经网络经常被应用于处理序列数据上，如文本情感分析、语音识别、机器翻译、股票走势预测。
[0004]Embedding层是深度学习实验中经常会遇到的一个模型层，主要是为了解决one
‑
hot编码带来的稀疏矩阵问题，Embedding层还可以捕捉特征之间的关系、降低特征维度、变离散为连续向量，它使得深度神经网络的应用更加广泛，极大地推动了深度学习的发展。
[0005]神经网络中的注意力机制是解决深度学习中信息超载问题的一种资源分配方案。深度学习模型的复杂程度与存储的信息量成正比，庞大的金融数据量带来了数据负担，产生数据过载的问题，使用基于时序操作的注意力机制可以在众多任务重聚焦于关键信息，过滤掉低价值信息，提高任务处理的效率和准确性。

技术实现思路

[0006]本专利技术的目的是为了解决金融领域的用户画像问题，提供一种基于循环神经网络与注意力机制的金融用户画像方法，该方法采用注意力机制和循环神经网络对金融用户画像分析，使用Embedding层、循环神经网络模型以及注意力机制对金融用户特征以及行为特征进行分类预测，有效地提高了金融用户画像模型的准确性、可用性、可拓展性。
[0007]实现本专利技术目的的具体技术方案是：
[0008]一种基于循环神经网络与注意力机制的金融用户画像方法，特点是使用数据预处理技术对金融时序操作数据进行预处理，通过可视化技术、聚类算法构建金融用户画像标
签系统，使用Embedding机制、循环神经网络模型以及用户操作注意力机制对金融用户特征以及行为特征进行分类预测，该方法包括如下具体步骤：
[0009]A：使用金融时序数据预处理技术对金融时序操作数据进行数据变换，得到金融特征向量；其中，金融特征向量包括用户操作信息及控件信息；
[0010]B：结合金融领域知识、专家经验及业务需求上层指导，使用可视化技术、聚类算法构建出金融用户标签系统；
[0011]C：使用Embedding机制对金融特征向量进行变换，生成一种更为稠密的金融特征向量；
[0012]D：将所述稠密的金融特征向量输入到融合了循环神经网络和用户操作注意力机制的金融用户画像模型中，输出金融用户画像标签结果值，并更新准确率；其中，准确率的初始值为0％；
[0013]E：迭代执行步骤C和步骤D，直至金融用户画像准确率至少80％终止。
[0014]所述步骤A具体包括：
[0015]A1：对金融时序数据进行清洗和补齐操作，得到清洗和补齐的金融时序数据；
[0016]A2：对清洗和补齐后的金融时序数据进一步使用数据标准化操作，得到标准化金融时序数据；
[0017]A3：根据标准化金融时序数据，生成隐含的用户操作信息，隐含的用户操作特征与原有的金融时序数据共同构成金融特征向量；
[0018]A4：将金融特征向量按照七比三的比例进行分割，分成训练集和测试集。
[0019]所述步骤A1中，对金融时序数据的清洗和补齐操作是以时间戳为依据的；具体包括：
[0020]A11：使用MYSQL连接查询语句、条件查询语句及删除语句，剔除冗余数据；
[0021]A12：使用MYSQL连接查询语句、条件查询语句及删除语句，剔除不一致数据；
[0022]A13：使用MYSQL连接查询语句、条件查询语句及插入语句，补齐缺失数据。
[0023]步骤A3中所述生成隐含的用户操作特征，具体包括：
[0024]A31：生成统计类的用户操作特征，包括鼠标点击频率及交易频率；
[0025]A32：生成复合操作类的用户操作特征，包括截图命令及窗口切换。
[0026]步骤B所述使用可视化技术、聚类算法构建出金融用户标签系统，具体包括：
[0027]B1：使用可视化方法对金融特征数据进行展示分析，从中选取特征构成金融用户事实类标签；金融用户操作数据的事实类标签包含某个操作视图停留时间、某个产品的购买时间段及控件点击频率；金融用户基础数据的内容包括年龄段及出身地城市；
[0028]B2：使用聚类算法对金融特征数据进行聚类计算，选取聚类结果中占比高的金融特征向量，得到学习类标签；
[0029]B3：从金融公司的业务需求说明书中提取出现频率高的关键词，构建金融营销模型类标签。
[0030]所述步骤C具体包括：
[0031]C1：针对金融特征向量中的控件信息，使用Embedding机制进行变换得到控件信息的稠密向量；
[0032]C2：通过计算控件信息的稠密向量的平均值，得到用户操作信息的稠密向量。
[0033]所述步骤D具体包括：
[0034]D1：将用户操作信息的稠密向量输出到循环神经网络，由循环神经网络迭代地输出隐藏层向量；
[0035]D2：将循环神经网络的每一个时间步输出的隐藏层向量作为注意力机制的输入，对金融用户操作在“时间”维度进行注意力的学习，计算得到时序操作相似度权值；
[0036]D3：注意力机制进一步对隐藏层向量与时序操作相似度权值进行加权计算，输出一组多维向量，再通过SoftMax函数对这组多维向量归一化得到金融用户画像标签结果；
[0037]D4：通过对金融用户画像模型的标签值输出，更新准确率；其中，准确率的初始值为0％。
[0038]本专利技术结合注意力机制和循环神经网络对金融用户画像进行分析，对金融时序数据进行了预处理操作，并针对金融时序数据的特点，使用了Embedding层对时序数据的多维特征进行降维，使用循环网络模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于循环神经网络与注意力机制的金融用户画像方法，其特征在于，该方法包括如下具体步骤：A：使用金融时序数据预处理技术对金融时序操作数据进行数据变换，得到金融特征向量；其中，金融特征向量包括用户操作信息及控件信息；B：结合金融领域知识、专家经验及业务需求上层指导，使用可视化技术、聚类算法构建出金融用户标签系统；C：使用Embedding机制对金融特征向量进行变换，生成一种更为稠密的金融特征向量；D：将所述稠密的金融特征向量输入到融合了循环神经网络和用户操作注意力机制的金融用户画像模型中，输出金融用户画像标签结果值，并更新准确率；其中，准确率的初始值为0%；E：迭代执行步骤C和步骤D，直至金融用户画像准确率至少80%终止。2.根据权利要求1所述的基于循环神经网络与注意力机制的金融用户画像方法，其特征在于，所述步骤A具体包括：A1：对金融时序数据进行清洗和补齐操作，得到清洗和补齐的金融时序数据；A2：对清洗和补齐后的金融时序数据进一步使用数据标准化操作，得到标准化金融时序数据；A3：根据标准化金融时序数据，生成隐含的用户操作信息，隐含的用户操作特征与原有的金融时序数据共同构成金融特征向量；A4：将金融特征向量按照七比三的比例进行分割，分成训练集和测试集。3.根据权利要求2所述的基于循环神经网络与注意力机制的金融用户画像方法，其特征在于，所述步骤A1中，对金融时序数据的清洗和补齐操作是以时间戳为依据的；具体包括：A11：使用MYSQL连接查询语句、条件查询语句及删除语句，剔除冗余数据；A12：使用MYSQL连接查询语句、条件查询语句及删除语句，剔除不一致数据；A13：使用MYSQL连接查询语句、条件查询语句及插入语句，补齐缺失数据。4.根据权利要求2所述基于循环神经网络与注意力机制的金融用户画像方法，其特征在于，步骤A3中所述生成隐含的用户...

【专利技术属性】
技术研发人员：马明俊，杜德慧，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：