可视化数据分析流程建模方法及系统技术方案

本发明专利技术涉及一种基于可视化数据分析流程建模方法及系统，包括利用大数据处理分析管理组件对算法库中的机器学习模型进行管理，包括利用基于结构模型或模式结构、数据挖掘任务、评分函数、搜索和优化方法、数据管理策略等进行可视化算法流构建，包括可视化组件装配设计。本发明专利技术将通过可视化组件拖拽连线的方式，构建数据分析模型。为此，当使用者掌握了组件的基本原理之后，理解由不同组件“装配”起来的算法就变得相对轻松，进而借由这些可视化分析组件对算法模型进行构建。组件对算法模型进行构建。组件对算法模型进行构建。

【技术实现步骤摘要】
可视化数据分析流程建模方法及系统


[0001]本专利技术属于可视化分析建模领域，具体说是一种基于拖拽式可视化画布模式，将算法单元以工作流的形式串联运行并分布计算结果的方法及系统。

技术介绍

[0002]大数据算法或机器学习算法在当前数据分析领域已经是必不可少的部分，大数据平台的数据算法应用快速集成开发环境要求用户能通过集成开发环境轻松完成大数据工程应用开发，而现今市面主流平台往往缺乏这一技术手段，数据分析人员需要进行复杂的代码开发与算法封装，针对较为复杂的数据业务分析问题，还需要进行相关业务学习，熟悉业务流程后才能够进行数据分析工作。导致数据分析时效性不强，数据分析过程开发成本高，耗时费力。
[0003]为此，专利技术了可视化数据分析流程建模工具，构建开发环境可以灵活和方便使用第三方的工具或框架，用户只需要有简单的大数据基础并且了解机器学习算法的原理，以及方法相关参数的含义，就可以轻松的通过调用相应的API来实现基于海量数据的机器学习过程。可视化数据分析流程建模工具支持自定义组件或把相关的组件构建为一个公共模板以方便组件的重复使用，同时能够对任意粒度的操作进行严格的功能权限和数据权限控制，流程管理模块可方便发起、监控和设置流程，确保管理用户的开发工程整个算法开发流程透明可见，交互简单，在专利技术的交互界面，环境的工作流系统能够以可视化地方式快速开发出复杂的流程系统，它允许用户通过拖拽代码构建块或者其他视觉线索进行模型构建，而不是手动编写基于文本的代码，使大数据工程的编程很容易理解，不陷入细致的代码编写，只需拖拽算法模块，数据源模块进行简单的链接，对算法的参数进行调节后，即可运行整个大数据工程，并将算法中每一步的结果返回，用户可在每一步得到当前数据处理的可视化结果。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供一种可视化数据分析流程建模的方法及系统，
[0005]利用大数据处理分析管理组件对算法库中的机器学习模型进行管理，包括利用基于结构模型或模式结构、数据挖掘任务、评分函数、搜索和优化方法、数据管理策略等，同时结合可视化组件的形式来将原本后台服务器中的数据分析算法可视化出来，并将原本需要进行代码开发的数据分析模型搭建工作改变成简单的拖拽式连接方式，结合逻辑验证与算法参数校验，强化数据分析有效性，考虑数据分析时中间结果查看的需求，建立服务，逐步返回算法模块计算结果，实现可视化的数据分析模型快速构建，数据分析结果多层级可视化。
[0006]这对可视化数据分析构建过程，展示，实现等方面具有理论和实际意义。
[0007]本专利技术为实现上述目的所采用的技术方案是：
[0008]可视化数据分析流程建模方法，包括如下步骤：
[0009]步骤1：在后台服务器集群上，针对数据分析需求，建立若干服务端分析算法模块用于对原始数据进行分析处理，并在构建算法过程中统一算法参数接口格式，传递参数类型，完成各个服务端分析算法模块的建立与封装；
[0010]步骤2：在后台服务器集群上，针对构建的服务端分析算法模块、算法脚本进行上传解析工作，在对应的可视化管理界面，对服务端分析算法模块进行参数拆解与对应，构建与服务端分析算法模块相同参数格式类型、参数数量的前端可视化算法模块；
[0011]步骤3：在用户端计算机上，根据前端可视化算法模块，构建可视化数据分析模型，当用户在界面画布区拖拽前端可视化算法模块图标时，能记录可视化模块坐标、连线位置、并保存用户生成的拓扑结构；
[0012]步骤4：在后台服务器集群上，接收用户构建的拓扑结构，解析拓扑结构中算法与参数，进行参数与任务分发，提交命令与数据进入集群，执行结果并存储结果。
[0013]所述服务端分析算法模块的开发与封装包括以下过程：
[0014]步骤1
‑
1：根据对应业务中常用的数据分析算法、业务模型，将数据分析过程拆解为多个服务端分析算法模块；
[0015]步骤1
‑
2：利用集群使用的算法引擎，对应开发各服务端分析算法模块；
[0016]步骤1
‑
3：进行集群提交验证是否存在问题，手动传入参数测试无误后封装为jar或脚本；存入服务器集群中指定位置，并按照命名规范命名。
[0017]所述传递参数类型包括但不限于：INTEGER、DECIMAL、STRING、ENUM、BOOLEAN、DATASET_IN、DATASET_OUT、MODEL_IN、MODEL_OUT。
[0018]所述可视化界面层执行如下过程：
[0019]步骤2
‑
1：上传服务端分析算法模块jar或脚本至服务器集群数据平台；
[0020]步骤2
‑
2：在界面上进行相关可视化组件构建：根据服务端算法参数作为构建依据，在可视化界面上对应构建相同名称，参数相同，属性相同的前端可视化模块；
[0021]步骤2
‑
3：存储前端可视化模块jar或脚本至算法库；存储算法模块信息与默认参数信息进数据库。
[0022]所述算法信息包含但不限于算法名称、算法类别、开发语言、参数类型、参数默认值、参数范围、参数说明，算法服务端地址。
[0023]所述可视化数据拓扑层执行如下过程：
[0024]步骤3
‑
1：在界面上划分画布区、可拖拽的模块区、操作区；用于实现用户在画布区对可拖拽的组件进行操作；
[0025]步骤3
‑
2：并当用户操作时，计算组件在画布中的坐标信息，连接不同组件间相同属性参数；
[0026]步骤3
‑
3：对画布中可视化分析组件构成的拓扑结构进行逻辑验证，并保存拓扑结构信息至数据库中。
[0027]所数据分析模型服务执行的方法包括以下过程：
[0028]步骤4
‑
1：数据分析模型服务接收可视化界面发送的运行信息，解析拓扑结构中算法名称与参数，对应调用相关算法；
[0029]步骤4
‑
2：依据解析拓扑结构信息，进行参数与任务分发，解析算法参数中指定的计算资源开辟情况；
[0030]步骤4
‑
3：提交命令与分析算法进入集群，以及计算资源划分情况与优先级执行计算任务；
[0031]步骤4
‑
4：执行每个算法模块后，将任务计算结果存储，同时返回地址给可视化接界面，并由可视化界面呈现计算结果。
[0032]所计算结果为针对使用的数据集进行数据处理的数据库表格或统计数据的图形显示。
[0033]可视化数据分析流程建模系统，其特征在于，包括：
[0034]数据处理分析层，设在后台服务器集群上，用于针对数据分析需求，建立若干服务端分析算法模块对原始数据进行分析处理，并在构建算法过程中统一算法参数接口格式，传递参数类型，完成各个服务端分析算法模块的建立与封装；
[0035]可视化界面层，设在后台服务器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.可视化数据分析流程建模方法，其特征在于，包括如下步骤：步骤1：在后台服务器集群上，针对数据分析需求，建立若干服务端分析算法模块用于对原始数据进行分析处理，并在构建算法过程中统一算法参数接口格式，传递参数类型，完成各个服务端分析算法模块的建立与封装；步骤2：在后台服务器集群上，针对构建的服务端分析算法模块、算法脚本进行上传解析工作，在对应的可视化管理界面，对服务端分析算法模块进行参数拆解与对应，构建与服务端分析算法模块相同参数格式类型、参数数量的前端可视化算法模块；步骤3：在用户端计算机上，根据前端可视化算法模块，构建可视化数据分析模型，当用户在界面画布区拖拽前端可视化算法模块图标时，能记录可视化模块坐标、连线位置、并保存用户生成的拓扑结构；步骤4：在后台服务器集群上，接收用户构建的拓扑结构，解析拓扑结构中算法与参数，进行参数与任务分发，提交命令与数据进入集群，执行结果并存储结果。2.根据权利要求1所述的可视化数据分析流程建模方法，其特征在于，所述服务端分析算法模块的开发与封装包括以下过程：步骤1
‑
1：根据对应业务中常用的数据分析算法、业务模型，将数据分析过程拆解为多个服务端分析算法模块；步骤1
‑
2：利用集群使用的算法引擎，对应开发各服务端分析算法模块；步骤1
‑
3：进行集群提交验证是否存在问题，手动传入参数测试无误后封装为jar或脚本；存入服务器集群中指定位置，并按照命名规范命名。3.根据权利要求2所述的可视化数据分析流程建模方法，其特征在于，所述传递参数类型包括但不限于：INTEGER、DECIMAL、STRING、ENUM、BOOLEAN、DATASET_IN、DATASET_OUT、MODEL_IN、MODEL_OUT。4.根据权利要求1所述的可视化数据分析流程建模方法，其特征在于，所述可视化界面层执行如下过程：步骤2
‑
1：上传服务端分析算法模块jar或脚本至服务器集群数据平台；步骤2
‑
2：在界面上进行相关可视化组件构建：根据服务端算法参数作为构建依据，在可视化界面上对应构建相同名称，参数相同，属性相同的前端可视化模块；步骤2
‑
3：存储前端可视化模块jar或脚本至算法库；存储算法模块信息与默认参数信息进数据库。5.根据权利要求4所述的可视化数据分析流程建模方法，其特征在于，所述算法信息包含但不限于算法名称、算法类别、开发语言、参数类型、参数默认值、参数范围、参数说明，算法服务端地址。6.根据权...

【专利技术属性】
技术研发人员：史海波，潘福成，周晓锋，张宜弛，李帅，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：