一种数据自动化扩展和关系挖掘的方法及其系统技术方案

本发明专利技术提出了一种数据自动化扩展和关系挖掘的方法，包括：获取资源连接的节点的各项信息；基于所述资源节点的数据库动态获取资源表信息，进一步导入所述资源表对应的字段信息列表；进一步创建并设置资源表映射模型；调用场景分析模块获取具体的对象数据信息并储存；根据获取的所述对象数据信息对所述资源节点进行渲染并展示于分析看板。通过结合分析场景、资源表映射模型，技术的实用性更强，可以应用的场景更广，分析也更加的灵活；根据分析看板提供的节点图形操作功能，让关系图形更加的直观、简洁；通过本发明专利技术能灵活的分析不同的资源表，并将获取的数据封装为对应的实体对象信息和实体对象的关系信息。息和实体对象的关系信息。息和实体对象的关系信息。

【技术实现步骤摘要】
一种数据自动化扩展和关系挖掘的方法及其系统


[0001]本专利技术属于大数据挖掘的
，具体涉及一种数据自动化扩展和关系挖掘的方法及其系统。

技术介绍

[0002]信息化时代背景下，数据的价值在于其产生、挖掘、收集这一流程，其中最为关键，同是最具有意义的在于数据的挖掘。
[0003]为适应大数据条件下对数据分析提出的新要求，满足大数据实时分析应用的需要，破解当前分散化、单一化、离线化的分析模式与大数据环境下的研判与分析工作不相适应的问题，通过统一建设一套完整、灵活、实用的数据可视化分析，满足各单位大数据可视化研判的工作需求。
[0004]基于全新的可视化数据分析的理念，将大量的存在于分散的各类数据以图形的方式展现出来，通过图形的方式对数据和数据间的关联、聚集、特征等进行描述和展现，更进一步地，运用众多图形分析的方法(关联分析、网络分析、路径分析等)来发现和揭示数据中隐含的公共要素和关联。帮助用户将大量的、未知质量的、低关联性的、低价值的信息转化为少量的、易于理解的、高关联性的、高价值的、可操作的信息，从而为分析工作提供帮助。
[0005]有鉴于此，提出一种数据自动化扩展和关系挖掘的方法及其系统是非常具有意义的。

技术实现思路

[0006]为了解决现有的数据关系分析系统，分析不同场景需要把资源数据都整理到场景定义的一个固定信息表中，在通过分析该固定的信息表获取到关联的数据，该传统的分析会固定信息表太过臃肿，而且对关系数据的溯源比较困难等问题，本专利技术提供一种数据自动化扩展和关系挖掘的方法及其系统，以解决上述存在的技术缺陷问题。
[0007]第一方面，本专利技术提出了一种数据自动化扩展和关系挖掘的方法，该方法包括如下步骤：
[0008]获取资源连接的节点的各项信息；
[0009]基于所述资源节点的数据库动态获取资源表信息，进一步导入所述资源表对应的字段信息列表；
[0010]进一步创建并设置资源表映射模型；
[0011]调用场景分析模块获取具体的对象数据信息并储存；以及
[0012]根据获取的所述对象数据信息对所述资源节点进行渲染并展示于分析看板。
[0013]优选的，所述资源节点的数据库包括mysql、Elasticsearch、mongodb、hbase；获取资源连接的节点各项信息包括名称、类型、IP地址、端口、数据库名称、用户名、密码；获取的所述资源表信息包括资源表名、资源表中文名、资源节点名称、数据库名称；导入所述资源表对应的字段信息列表包括字段名、类型、字段名称。
[0014]进一步优选的，创建并设置资源表映射模型具体包括：
[0015]先创建所述资源表映射模型的信息，包括模型名称、模型创建时间、模型创建人员；
[0016]创建模型的执行步骤，在模型设计看板上，拉出设置入参值，拉出资源表，设置需要对资源表的分析条件和需要分析字段，分析条件包括等于、不等于、小于、小于等于、大于、大于等于、包含、为空、不为空的条件；
[0017]根据获取到的数据选择某个字段或者多个字段组合当做入参值，作为当前步骤的入参值，根据配置不同的分析条件和分析字段，进行步骤的运行；
[0018]如果有接下去的步骤也是重复上一步骤进行配置；
[0019]配置输出对象的映射信息和对象关系信息，输出的数据字段，映射相应的对象的字段；
[0020]保存资源表映射模型配置信息到模型资源表；
[0021]配置场景所属的资源表映射模型关联信息。
[0022]进一步优选的，场景分析模块获取具体的对象数据信息具体包括：
[0023]所述分析看板调用系统的场景分析运算程序，传入的条件包括入参码址的值、场景信息、需要分析的资源表映射模型组；
[0024]若分析的条件没有特别选择资源表映射模型组，将以场景信息关联的所有的资源表映射模型进行计算，若有将以传入的资源表映射模型组进行计算；
[0025]系统程序将获取的资源表映射模型信息通过redis放入到模型数据分析池中，系统程序的数据分析线程池将根据模型数据分析池中的数据分配相应的线程进行数据分析；
[0026]数据分析线程根据资源表映射模型的入参数据、入参类型、模型的执行步骤顺序、涉及的资源表分析获取对应的数据，并根据输出的实体对象映射信息和输出的实体关系信息，抽取相应的数据输出实体对象数据和实体关系数据；
[0027]最后返回实体对象数据和实体关系数据。
[0028]进一步优选的，根据获取的所述对象数据信息对所述资源节点进行渲染并展示于分析看板具体包括：
[0029]获取到场景分析返回的实体对象数据和实体关系数据；
[0030]根据实体对象数据在分析看板渲染出对应的实体对象节点的图标，并对对应的节点图标赋值相应的实体对象的数据；
[0031]根据实体关系数据，在分析看板上找到对应的两个相对的实体节点，画出两个节点的连线，并对连线赋值相应实体关系数据；
[0032]根据分析看板提供的筛选工具，输入对应的条件进行节点和线条的筛选，去除掉不满足条件的节点和线条；
[0033]根据分析看板布局工具，选择相应的布局对节点进行排版，节点和连线按一定的计算规则进行排版，让节点关系图谱更加的有序直观；
[0034]保存节点关系图到Janusgraph图数据库。
[0035]第二方面，本专利技术还提出一种数据自动化扩展和关系挖掘的系统，包括：
[0036]获取模块：用于获取资源连接的节点的各项信息，基于所述资源节点的数据库动态获取资源表信息，调用场景分析模块获取具体的对象数据信息；
[0037]创建模块：用于创建并设置资源表映射模型；
[0038]场景分析模块：用于调用场景分析模块获取具体的对象数据信息并储存；
[0039]分析看板模块：用于根据获取的所述对象数据信息对所述资源节点进行渲染；
[0040]展示模块：用于根据获取的所述对象数据信息对所述资源节点进行渲染并展示于分析看板。
[0041]第三方面，本专利技术实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
[0042]第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
[0043]与现有技术相比，本专利技术的有益成果在于：
[0044](1)通过结合分析场景、资源表映射模型，技术的实用性更强，可以应用的场景更广，分析也更加的灵活；根据分析看板提供的节点图形操作功能，让关系图形更加的直观、简洁；通过本专利技术能灵活的分析不同的资源表，并将获取的数据封装为对应的实体对象信息和实体对象的关系信息。
[0045](2)有了该数据关系挖掘可视化技术通过丰富的图形化展现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据自动化扩展和关系挖掘的方法，其特征在于，该方法包括如下步骤：获取资源连接的节点的各项信息；基于所述资源节点的数据库动态获取资源表信息，进一步导入所述资源表对应的字段信息列表；进一步创建并设置资源表映射模型；调用场景分析模块获取具体的对象数据信息并储存；以及根据获取的所述对象数据信息对所述资源节点进行渲染并展示于分析看板。2.根据权利要求1所述的数据自动化扩展和关系挖掘的方法，其特征在于，所述资源节点的数据库包括mysql、Elasticsearch、mongodb、hbase；获取资源连接的节点各项信息包括名称、类型、IP地址、端口、数据库名称、用户名、密码；获取的所述资源表信息包括资源表名、资源表中文名、资源节点名称、数据库名称；导入所述资源表对应的字段信息列表包括字段名、类型、字段名称。3.根据权利要求2所述的数据自动化扩展和关系挖掘的方法，其特征在于，创建并设置资源表映射模型具体包括：先创建所述资源表映射模型的信息，包括模型名称、模型创建时间、模型创建人员；创建模型的执行步骤，在模型设计看板上，拉出设置入参值，拉出资源表，设置需要对资源表的分析条件和需要分析字段，分析条件包括等于、不等于、小于、小于等于、大于、大于等于、包含、为空、不为空的条件；根据获取到的数据选择某个字段或者多个字段组合当做入参值，作为当前步骤的入参值，根据配置不同的分析条件和分析字段，进行步骤的运行；如果有接下去的步骤也是重复上一步骤进行配置；配置输出对象的映射信息和对象关系信息，输出的数据字段，映射相应的对象的字段；保存资源表映射模型配置信息到模型资源表；配置场景所属的资源表映射模型关联信息。4.根据权利要求3所述的数据自动化扩展和关系挖掘的方法，其特征在于，场景分析模块获取具体的对象数据信息具体包括：所述分析看板调用系统的场景分析运算程序，传入的条件包括入参码址的值、场景信息、需要分析的资源表映射模型组；若分析的条件没有特别选择资源表映射模型组，将以场景信息关联的所有的资源表映射模型进行计算，若有将以传入的资源表映射模型组进行计算；系统程序将获取的资源表映射模型信...

【专利技术属性】
技术研发人员：郑汉军，陈学远，黄惠海，王磊，黄键，陈建章，
申请(专利权)人：厦门安胜网络科技有限公司，
类型：发明
国别省市：