一种基于大数据的复杂金融交易网络活动图的构造方法技术

本发明专利技术公开了一种基于大数据的复杂金融交易网络活动图的构造方法，本发明专利技术将根据金融分析工作中需要的信息，以及网络中节点的行为模式，构建一个通用多维多层次的金融网络活动图。网络图通过节点、边、以及节点和边的属性定义了金融活动中各个维度的数据；本发明专利技术构建的金融网络活动图能有效用于基于社会网络理论、图论、可视化等方法的金融数据分析方法。

Construction method of complex financial transaction network activity diagram based on large data

The invention discloses a construction method of big data of complex financial transaction network activity diagram based on the analysis of financial information according to the need to work, and the behaviors of nodes in the network model, construct a general multi-dimensional multi-level financial network activity diagram. Network node, through the definition of each dimension of financial activities, data edge, and attribute nodes and edges; the invention constructs the financial network activity diagram can be effectively used for financial data analysis method of social network theory, graph theory and visualization method based on.

【技术实现步骤摘要】
一种基于大数据的复杂金融交易网络活动图的构造方法
本专利技术涉及复杂数据网络构造与数据可视化领域，尤其涉及一种基于大数据的复杂金融交易网络活动图的构造方法。
技术介绍
金融犯罪是当今社会面临的重大问题，其中洗钱犯罪活动尤为突出，对国家的经济发展和安全等多方面都产生了极其恶劣的影响。当前日益庞大起来的洗钱交易网络结构形式多样、错综复杂。从这些交易网络中快速地发现、挖掘可疑对象，追溯可疑资金的来源和去向，不依靠一定的专家经验辅助，完全无法高效准确完成。其主要困难体现在：1）大数据，犯罪分子掌握了大量的账户，多的时候达到上千个，然后经过多次多级互相转账后，其形成的交易数据可以达到数百万甚至上千万的交易记录。2）关系错综复杂，账户之间可以互相打款，资金拆散、合并，涉及多个金融机构、多种交易方式。3）动态性：随着信息技术的快速发展，网上转账的快速性导致交易随时间在快速变化，依靠一般的静态分析很难发现规律。4）不确定性，由于了解的信息的不完整以及数据的收集不完整，导致资金流向无法理清。上述问题导致了使得依靠人工难以梳理出资金流向的脉络。事实上，这些交易数据之间存在关联，这些关联形成了一个复杂的网络，为此可以用图来表示金融网络交易。金融网络就是网络与金融活动的结合。金融网络中的节点代表的是个人客户、企业以及账号，网络中的边关系代表的是这些节点之间发生的交易关系。而交易关系背后代表的是经济利益关系，边的关系中包含的信息包括交易对象、交易的时间、交易金额、交易的方式、资金用途等信息。由于交易存在方向性，金融网络实质上是一个有向图。金融网络中的节点也包含一些其他属性信息。有研究将金融网络表示为一个无向赋权图，节点表示一个用户账号或一个自然人，边表示一笔转账交易，然后利用图论技术发现网络中的可疑交易。也有利用图论方法识别洗钱网络中分账阶段可疑交易时将表示为一个有向图，并且在节点中加入了属性信息，便于进行关联分析，还有利用图挖掘算法进行可疑交易检测时也是使用了同样的描述方式表达金融网络中的活动，这种表示方法只考虑交易中的转账记录，而并没有考虑存取款记录，而且也没有考虑交易的方向。还有学者提出为了让基于图论的挖掘算法有更好的效率，同时又不损失其他有效信息，需要对资金流向图进行扩展，他们提出的图的构建方式中，节点和边都有不同的属性，节点有账户、交易和交易类型三种。这些方法都是将金融网络中的各种活动表达为一个图，用节点表示金融网络中的实体，用边表示资金流动，但是这些方法并没有完全表示出交易网络中的各个属性，也没有扩展性和通用性，不便于利用多种智能分析方法对同一个数据集进行分析挖掘。在中国技术专利说明书CN200910063081.9中公开了一种动态金融网络监测分析方法,其中提到了建立动态金融网络模型，其金融模型把金融数据库中的数据转换成有向加权图流，在有新的金融交易数据出现时,可以更新金融数据库和动态金融网络模型。在中国技术专利说明书CN201510332454.3公开了一种金融网络可疑资金追踪与识别方法，其中包括构建金融交易网络拓扑图，即将原始金融交易流水经过处理后转换成一张金融交易图，图包含了原始金融交易流水中所有的交易关系和资金流向。上述技术和方法都是把金融网络图作为一个二维图，把所有的信息都设置在边上。1）但事实上金融网络图包含了多种不同的属性，主要包括交易金额、交易时间、交易地点、交易方式、资金用途、交易对象等等，如果把这些交易属性集中在一起，则很难理清交易的脉络和走向。因此，金融交易网络应当是多维网络图。2）现有的方法没有考虑数据的规模，对于复杂的金融交易或者洗钱行为，由于IT技术的发展，很多采用了自动转账，这样经过多次转移后，其形成的交易笔数可以达到数千万笔。3）金融交易存在动态特性，一方面是交易本身总是在动态变化；另一方面是随着线索的更新，交易对象不断增加，随之导致交易网络不断变化。现有的技术虽然考虑了增量更新策略，但都是离线操作，且需要人工干预。4）金融交易网络形成的二维图中，存在嵌套图的问题，现有的方法没有考虑如何进行处理。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术中对金融网络图表示简单，属性过少以及结构不合理的缺点，提出一种基于大数据的复杂金融交易网络活动图的构造方法。本专利技术为解决上述技术问题采用以下技术方案一种基于大数据的复杂金融交易网络活动图的构造方法，具体包含如下步骤：步骤1，对于新的节点数据，在顶层上增加一个节点，同时在每一个维度的顶层上增加相应的节点，针对每一维度，根据当前维度的数据建立与其相关节点的边，同时把数据存储到图数据库；步骤2，针对每一维度，建立其层次图；步骤3，建立每一层与其他维度之间的关系，根据维度数据信息，建立横向边，任意两个节点之间的边是他们数据的聚合；步骤4，根据节点的名称信息，将节点进行合并；步骤5，对节点包含的多个账户进行拆分；步骤6，根据建立的数据库结构，对每一节点按照遍历的方法进行存储；步骤7，为了快速进行数据搜索，建立数据索引；步骤8，利用可视化技术，把网络交易图展示出来，以二维为表现形式进行展示。作为本专利技术一种基于大数据的复杂金融交易网络活动图的构造方法的进一步优选方案，所述步骤2具体包含如下步骤：步骤2.1，对于分类数据，对每一个分类建立下层的分类节点，利用统计方法获取当前分类的详细数据，每一个下层节点指向其上层父节点；步骤2.2，采用递归方法对每一个分层继续生成下个分层，直至到达叶节点。作为本专利技术一种基于大数据的复杂金融交易网络活动图的构造方法的进一步优选方案，在步骤3中，对于新的边数据，首先对交易数据根据维度离散化，然后在每一个维度的顶层图中更新其相应的边，然后再根据图的流向信息更新每一个层次图的每一个相关的边信息。作为本专利技术一种基于大数据的复杂金融交易网络活动图的构造方法的进一步优选方案，在步骤7中，建立的数据索引包含以节点为索引关键字、层次索引和维度索引本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：1、本专利技术将根据金融分析工作中需要的信息，以及网络中节点的行为模式，构建一个通用多维多层次的金融网络活动图。网络图通过节点、边、以及节点和边的属性定义了金融活动中各个维度的数据；2、本专利技术构建的金融网络活动图能有效用于基于社会网络理论、图论、可视化等方法的金融数据分析方法；3、本专利技术还考虑了大数据量的数据存储问题，为了能够有效地存储和快速检索大数据量的金融交易数据，采用了如下存储方式，对图的每一个节点存储一个数据块，各个数据块之间按照交易关系建立指针链接，这样图的存储和实际的检索以及展示是一致的，采用非结构化数据方式来存储图的数据。附图说明图1是本专利技术金融网络图节点之间的伦理关系图；图2是本专利技术金融网络交易图某维度的顶层结构示意图；图3是本专利技术金融网络交易图的分层结构示意图；图4本专利技术某维度金融网络交易图顶层图的构造流程。具体实施方式下面结合附图对本专利技术的技术方案做进一步的详细说明：首先构造适合大数据的金融交易图的存储结构，采用图数据库的非结构化数据来进行存储。然后通过Webservice的方式和金融机构建立数据获取途径，可以采用拉取或者推送的方式进行数据订阅和请求服务，当需要的数据达到本系统时按照如下方式进行图的构建和存储。1本文档来自技高网...

【技术保护点】
一种基于大数据的复杂金融交易网络活动图的构造方法，其特征在于：具体包含如下步骤：步骤1，对于新的节点数据，在顶层上增加一个节点，同时在每一个维度的顶层上增加相应的节点，针对每一维度，根据当前维度的数据建立与其相关节点的边，同时把数据存储到图数据库；步骤2，针对每一维度，建立其层次图；步骤3，建立每一层与其他维度之间的关系，根据维度数据信息，建立横向边，任意两个节点之间的边是他们数据的聚合；步骤4，根据节点的名称信息，将节点进行合并；步骤5，对节点包含的多个账户进行拆分；步骤6，根据建立的数据库结构，对每一节点按照遍历的方法进行存储；步骤7，为了快速进行数据搜索，建立数据索引；步骤8，利用可视化技术，把网络交易图展示出来，以二维为表现形式进行展示。

【技术特征摘要】
1.一种基于大数据的复杂金融交易网络活动图的构造方法，其特征在于：具体包含如下步骤：步骤1，对于新的节点数据，在顶层上增加一个节点，同时在每一个维度的顶层上增加相应的节点，针对每一维度，根据当前维度的数据建立与其相关节点的边，同时把数据存储到图数据库；步骤2，针对每一维度，建立其层次图；步骤3，建立每一层与其他维度之间的关系，根据维度数据信息，建立横向边，任意两个节点之间的边是他们数据的聚合；步骤4，根据节点的名称信息，将节点进行合并；步骤5，对节点包含的多个账户进行拆分；步骤6，根据建立的数据库结构，对每一节点按照遍历的方法进行存储；步骤7，为了快速进行数据搜索，建立数据索引；步骤8，利用可视化技术，把网络交易图展示出来，以二维为表现形式进行展示。2.根据权利要求1所述的一...

【专利技术属性】
技术研发人员：路松峰，荣征，李涛，
申请(专利权)人：南京搜文信息技术有限公司，
类型：发明
国别省市：江苏,32