一种海量金融时序数据的动态关联关系实时计算方法技术

本发明专利技术公开了一种海量金融时序数据的动态关联关系实时计算方法，其方法步骤包括：数据采集，根据业务需求确定业务关联的数据源与字段信息，进行数据采集；数据预处理，根据业务需求对采集的数据预处理，得到业务所需数据集；构建时

【技术实现步骤摘要】
一种海量金融时序数据的动态关联关系实时计算方法


[0001]本专利技术涉及金融数据分析应用领域，特别是涉及一种海量金融时序数据的动态关联关系实时计算方法。

技术介绍

[0002]随着互联网及金融行业的不断发展，各行各业的数据急速增长，数据量越来越大，类型越来越多，数据结构趋于复杂化。在科技日新月异的今天，几乎每时每刻都会产生海量的金融时序数据，这些动态的、关联的且随时间不断增长的金融时序数据中蕴含着丰富的知识和规律，具有极高的利用价值与潜力。金融时序数据是含有金融信息且带时间标签的时间序列数据，具有产生频率快、严重依赖于采集时间、测点多信息量大等特点。在金融行业中，为了保证金融业务安全、稳定、高效运行，通常会对海量的金融时序数据进行实时监测，采集获得大量的时序数据作为业务运行状态评估、风险预警、可靠性分析等高级应用的基础。例如，在实时风控、精准营销等领域，经常会涉及如某用户“过去1周内是否给另外某一用户转账次数超过100笔”、“过去24小时内某用户是否在同一家店铺消费金额超过10000元”：这样的基于动态关联关系的计算问题。
[0003]在动态关联关系的实时计算中，简单的计算可以通过数据库的表结构与表拼接得以实现。复杂业务场景中，当实体与关系有很多不同的类型，由于数据库表的结构限制，数据量大时，查询性能无法满足业务要求。面对复杂关系，一般会选择把复杂业务场景上的关联关系建模成图的结构，以节点代表是实体，边代表关系。例如在交易的业务场景中，属性图模型会把用户当成节点，把发生过交易当成边。边上的属性可以记录交易的详情(交易金额，交易地点等)，如果两个用户间发生多笔交易，则会建立多条边表明关系。以金融风控反欺诈场景为例，转账、借款、支付等交易活动会源源不断地引发商户、银行、消费者等实体间的关联关系。在金融活动过程中进行数据采集，实时获取业务信息，对数据进行清洗，提取关键信息，并将关键消息转换为图结构进行计算和存储。在此基础上，通过风控引擎发起动态关联关系实时计算的请求，对计算结果进行规则判定，并将判定情况报送给告警系统，对于进行中的高风险活动，通过告警系统定位到相关实体，及时对后续资金流动进行阻断，从而破坏欺诈行为的活动链路，达到风控效果。
[0004]近年来，随着大数据、数据挖掘等IT技术迅猛发展，分布式存储、高性能计算在理论研究和技术实践层面均获得了关键性突破，业界涌现出了诸多大数据处理和应用的解决方案，极大地简化大规模数据的处理过程。然而，现有技术在功能完整性、运行稳定性及特定业务场景应用下仍存在一定的局限性，缺乏时序聚合能力，往往不支持频繁密集的动态更新且时空查询效率低，无法满足动态变化的数据实时接入与高性能低延迟计算分析的处理需求，在动态关联关系实时计算中存在缺陷，无法同时具备实时性、准确性与灵活性。因而，在金融行业中，如何快速、高效、及时地处理海量金融时序数据，进而完成对数据动态关联关系的实时计算，为金融风控等实时分析类业务场景提供稳定可靠的技术支撑，是金融行业研究人员迫切需要解决的一个重要问题，具有深远的研究意义和较强的利用价值。

技术实现思路

[0005]本专利技术公开了一种海量金融时序数据的动态关联关系实时计算方法，包含以下步骤：
[0006]步骤1：数据采集。根据业务需求确定与业务相关联的数据源，确定所需字段信息，进行数据采集。
[0007]步骤2：数据预处理。根据业务需求，将步骤1采集到的数据进行数据预处理，包括数据清洗、聚合等操作，得到业务所需数据集。
[0008]步骤3：构建时
‑
空
‑
数据关联关系图模型。基于步骤2所得的数据集，构建时
‑
空
‑
数据关联关系图模型。
[0009]步骤4：接受业务请求并解析。接受并对业务请求内容进行解析，确认请求所涉及的特征信息。
[0010]步骤5：提取特征信息，调整资源配置。提取业务请求与其所涉及数据范围中的特征信息，并根据特征信息进行资源配置的调整实现运行效率最大化。
[0011]步骤6：运行计算任务，获得计算结果。基于所接受的业务请求，运行相应的计算任务，得到计算结果。
[0012]进一步的，所述步骤1中，数据采集的具体方法包括：
[0013]步骤1.1、根据业务需求确定与业务相关联的数据源。具体来说，数据源包括数据库、数据表等形式。
[0014]步骤1.2、根据业务需求确定与业务相关联的字段信息。
[0015]步骤1.3、利用流式实时计算框架实时采集相关联数据源中实时存储的数据，并将采集的数据发送至消息队列中等待下一步处理。
[0016]进一步的，所述步骤2中，数据预处理的具体方法包括：
[0017]步骤2.1、对步骤1中消息队列中输出的数据，实时且依次地进行数据清洗，包括过滤、去重等操作。
[0018]步骤2.2、根据业务需求，采用不同的聚合算法，如计数、求和、平均、方差等，基于不同时间切片对清洗后的数据进行聚合计算。具体来说，时间切片指把连续的时间按照某个时间单位(如每天、每小时等)进行分割，形成一系列固定长度的时间窗口。所有数据根据其约定的时间属性字段(如交易时间等)，分配到对应的时间窗口内。时间窗口内的数据根据业务要求使用相应的聚合算法进行聚合，计算出该时间窗口对应的聚合值。
[0019]步骤2.3、根据业务需求，利用如Apriori等机器学习关联分析算法，对清洗后的数据进行关联关系分析，得到关联关系分析结果。
[0020]步骤2.4、将步骤2.1中清洗后的数据与步骤2.2中所得的相应聚合值以及步骤2.3中的相应关联分析结果进行合并，组成模型构建数据。
[0021]进一步的，所述步骤3中，构建时
‑
空
‑
数据关联关系图模型的具体方法包括：
[0022]步骤3.1、根据步骤2中所获得的模型构建数据，基于其数据与其相应的属性特征，生成相应的图节点，包括实体节点、特征节点、数据节点等，并将节点进行关联，共同组成数据关联关系子图模型。
[0023]步骤3.2、每个数据都附带着其对应的时间信息与空间信息，依据其数据节点与其相应的属性特征，计算其相应的时间信息与空间信息，并依据时间信息与空间信息生成相
对应的时间节点与空间节点。
[0024]步骤3.3、基于步骤3.2中所得的时间节点与空间节点，分别构建时间关联关系子图模型与空间关联关系子图模型。
[0025]步骤3.4、基于步骤3.2中，时间节点与空间节点是由数据节点计算而来的，因此其之间存在相应的关联关系。将步骤3.1所得的数据关联关系子图模型与步骤3.3中所得的时间关联关系子图模型与空间关联关系子图模型建立连接，进行关联，构建时
‑
空
‑
数据关联关系图模型。
[0026]进一步的，所述步骤4中，接受业务请求并解析的具体方法包括：
[0027]步骤4.1、接受业务请求并解析。具体来说，通过命令本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海量金融时序数据的动态关联关系实时计算方法，其特征在于包括以下步骤：步骤1：数据采集；根据业务需求确定与业务相关联的数据源，确定所需字段信息，进行数据采集；步骤2：数据预处理；根据业务需求，将步骤1采集到的数据进行数据预处理，包括数据清洗、聚合等操作，得到业务所需数据集；步骤3：构建时
‑
空
‑
数据关联关系图模型；基于步骤2所得的数据集，构建时
‑
空
‑
数据关联关系图模型；步骤4：接受业务请求并解析；接受并对业务请求内容进行解析，确认请求所涉及的特征信息；步骤5：提取特征信息，调整资源配置；提取业务请求与其所涉及数据范围中的特征信息，并根据特征信息进行资源配置的调整实现运行效率最大化；步骤6：运行计算任务，获得计算结果；基于所接受的业务请求，运行相应的计算任务，得到计算结果。2.根据权利要求1所述的一种海量金融时序数据的动态关联关系实时计算方法，其特征在于步骤1中，所述数据采集的具体步骤为：根据业务需求确定与业务相关联的数据源与字段信息；具体来说，利用数据采集工具，实时采集相关联的海量数据库或数据表等数据源中存储的数据，并将采集到的数据发送至消息队列中等待下一步处理；同时，通过预先设置自定义的调度计划，自动地获取相关数据源中存储的数据；相比于批处理计算框架，流式实时计算框架的延时可低至毫秒级，吞吐量可达上亿级别，同时支持按时间顺序处理，适用于金融时序数据的采集、分析与处理。3.根据权利要求1所述的一种海量金融时序数据的动态关联关系实时计算方法，其特征在于步骤2中，所述数据预处理的具体步骤为：对消息队列中输出的数据，实时且依次地进行数据清洗，包括过滤，去重等操作，尽可能地降低数据损失，提高数据的质量，保证数据的正确性，提高所构建模型的准确性；另外，根据业务需求，采用不同的聚合算法基于不同时间切片对清洗后的数据进行聚合计算；其中，时间切片指把连续的时间按照某个时间单位(如每天、每小时等)进行切割，形成的一系列固定长度的时间窗口；所有数据根据其约定的时间属性字段的值(如交易时间等)，分配到对应的时间窗口内；时间窗口内的数据根据业务要求使用相应的聚合算法进行聚合，计算该时间窗口对应的聚合值，并以键值的形式进行表示；同时，利用如Apriori等机器学习关联分析算法，对清洗后的数据进行关联关系分析，得到关联关系分析结果，并以关联键值的形式进行表示；将清洗后的数据与...

【专利技术属性】
技术研发人员：陈平华，徐康业，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：