一种大数据可视化采集分析及文件转换系统和方法技术方案

本发明专利技术公开了一种大数据可视化采集分析及文件转换系统和方法，系统包括数据采集模块、数据存储模块、分析计算模块、规则处理单元、可视图表生成模块，采集模块与数据存储模块连接，数据存储模块与分析计算模块连接，分析计算模块与可视图表生成模块连接，规则处理单元与分析计算模块连接，规则处理单元内预存有对数据进行分析及计算规则模式。本发明专利技术公开的技术方案，数据采集简单、易实现，实现了傻瓜式数据采集，无需专业数据库操作人员操作；可将多用户操作的数据合并，因此，可多人同时操作，灵活方便；同时实现了自动建模，方便调用，可直接将Excel数据复制到对应系统模板导进数据库；另外实现了快速表计算功能，实现了可视化图表配置。

【技术实现步骤摘要】

本专利技术涉及WEB前端开发领域，尤其涉及一种大数据可视化采集分析及文件转换系统和方法。
技术介绍
随着网络信息技术的飞速发展和不同存储形式的海量数据积累，各个应用领域的数据信息管理部门建立了一些基于不同平台、不同技术开发的应用系统和相应的数据库管理系统，并积累了海量的数据资源，同时因为各级管理部门和采集系统的不同，造成数据的格式不尽相同，大多数数据采集系统没有网络化，不便于数据管理，数据集中效率较低，同时数据格式不同，造成数据标准化工作很难开展。传统数据采集需要程序开发人员，需要数据库操作人员复杂的操作，数据采集复杂，操作不能实现数据转换为多维动态的文件形式，数据比较死板无法动态展示。因此，如何统一化、规范化的采集和管理相关数据成为目前亟需解决的问题。如《计算机与现代化》总第168期，可视化的数据标准化转换系统的设计与研究，公开了数据转换模型：对于一个关系型数据的数据模型可以认定为一个4元组M＝(NS,AS,VS,GR):NS:字段名集合,所有数据的字段名集合。AS:属性集合,所有数据的类型集合。VS:值域集合,所有数据的值集合。GR:语法规则,数据的语法表达方法。模型映射就是要建立源模型M1与目标模型M2之间的对应关系。要完成模型映射需要按照以下3个过程来进行:(1)建立模型中字段名之间的对应关系,形成字段名对应表。(2)检查字段属性之间的表述方式,不同的数据库拥有不同的数据格式表示方式,这就要建立必要的属性转换模式。(3)检查字段属性之间的表述方式,不同的数据库拥有不同的数据格式表示方式,这就要建立必要的属性转换模式。经过以上3个步骤,建立了模型数据之间的字段名对应关系、字段属性转换函数和值域转换函数之后,基于这些结果就可以形成一个模型映射与数据转换的规则。这些规则可以是以文件的形式存储,也可以是以函数或方法的形式存储。但是该参考文献没有披露低采集到的数据的后续分析处理。又如中国专利CN105843803A公开了大数据安全可视化交互分析系统及方法，系统包括：高级预警中心模块、时间轴纵向关联分析器模块、相关地理信息追踪显示器模块、原始数据钻探与导航模块、安全聚向发现横向关联分析器模块、数据采集引擎模块、数据分类模块、数据存储器模块、规则库处理模块；其中数据采集引擎模块用于从各种网络对象收集海量安全大数据，分类并汇集到数据分类模块，数据分类模块包括终端日志类数据、网络类数据。应用类数据、行为与操作类数据；数据存储模块用于把从数据分类模块中收集到的安全大数据进行收集归类，形成数据集预存储在数据存储器中；规则库处理模块用于从数据存储器模块的数据集合中为每个网络对象按设定规则库进行计算处理。本专利技术提出的大数据安全可视化交互分析系统及方法，实现时间、地理空间、相互关系等诸多要素的视觉化结果输出，使用户具备可视化交互能力的原始数据取证能力。可视化分析是通过交互式可视化界面促进推理分析能力的科学，本专利技术所揭示的一种系统与方法就是面对海量大数据安全，应用可视化分析手段所进行的一种视觉信息系统分析的有效创新，实现对大数据安全进行可视化处理的一种有益方法探索，将传统枯燥、过于专业的以单一图表方式呈现的结果数据进行分拆解读，进行同步的多维度呈现，能够使非专业的管理决策人员也可以有直观感知的认知能力。但是该专利技术专利披露的技术方案数据采集较为繁琐，需要数据库操作人员复杂的操作，数据采集复杂。
技术实现思路
为克服现有技术中存在的问题，本专利技术提供了一种数据采集方式简单、易实现，同时实现了可视化图表配置的一种大数据可视化采集分析及文件转换系统和方法。本专利技术提供的一种大数据可视化采集分析及文件转换系统，系统包括数据采集模块、数据存储模块、分析计算模块、可视图表生成模块，所述采集模块与所述数据存储模块连接，所述数据存储模块与所述分析计算模块连接，所述分析计算模块与所述可视图表生成模块连接，系统还包括规则处理单元，所述规则处理单元与所述分析计算模块连接，所述规则处理单元内预先存储有对数据进行分析及计算规则模式。在一些实施方式中，系统还包括数据分类模块，所述数据分类模块连接于所述采集模块及所述数据存储模块之间，所述数据分类模块用于对所述数据分类模块采集到的数据进行分类，供所述数据存储模块分类存储。在一些实施方式中，系统还包括数据汇总模块，所述数据汇总模块连接于所述采集模块与所述数据存储模块之间，所述数据汇总模块于对所述数据分类模块分类得到的数据进行汇总，统一存储于所述数据存储模块。在一些实施方式中，系统还包括数据汇总模块，所述数据汇总模块连接于所述采集模块与数据分类模块之间，所述数据汇总模块对所述数据分类模块分类得到的数据进行汇总，统一进行分类存储，存储于所述数据存储模块。在一些实施方式中，系统还包括模板生成模块，所述模板生成模块与所述数据存储模块及所述分析计算模块连接，且所述模板生成模块与所述数据采集模块连接，所述分析计算模块分析生成模板生成规则，并将模板生成规则发送至所述模板生成模块，所述模板生成模块生成多个数据模板，所述数据采集模块将采集到的数据填写至所述模板生成模块生成的对应模板中，并存储于所述数据存储模块。采上述一种大数据可视化采集分析及文件转换系统进行数据分析及文件转换的方法，其特征在于，包括以下步骤：S1：所述数据采集模块采集数据信息；S2：所述数据采集模块将采集到的数据信息发送至所述数据存储模块进行存储；S3：所述分析计算模块从所述数据存储模块抽取用户所需数据信息，并根据所述规则处理单元内预先存储的分析及计算规则模式对抽取的数据信息进行分析计算；S4：所述可视图表生成模块将步骤S3中分析计算模块分析计算的结果以多维动态文件形式生成。在一些实施方式中，所述步骤S1后还包括步骤S11：采用所述数据分类模块对所述数据采集模块采集的数据信息进行分类；所述步骤S2为：将所述数据分类模块分类后的数据信息发送至所述数据存储模块进行分类存储。在一些实施方式中，所述步骤S1与所述步骤S11之间还包括步骤S111：采用数据汇总模块将多个用户采用数据采集模块采集到的数据信息进行汇总，并统一发至所述数据分类模块。在一些实施方式中，所述步骤S3后还包括步骤S33：所述分析计算模块分析生成模板生成规则，并将模板生成规则发送至所述模板生成模块，所述模板生成模块生成多个数据模板。在一些实施方式中，所述步骤S1为：所述数据采集模块将采集到的数据填写至所述模板生成模块生成的对应模板中，并存储于所述数据存储模块。与现有技术相比，本专利技术提供的一种大数据可视化采集分析及文件转换系统和方法，与现有技术相比，其优点在于：本专利技术提供的一种大数据可视化采集分析及文件转换系统和方法，数据采集方式简单、易实现，实现了傻瓜式数据采集，无需专业数据库操作人员操作；可将多用户操作的数据合并，因此，可多人同时操作，灵活方便；同时实现了自动建模，方便调用，可直接将Excel数据复制到对应系统模板导进数据库；另外实现了快速表计算功能，实现了可视化图表配置。附图说明图1为本专利技术提供的第一种实施方式的一种大数据可视化采集分析及文件转换系统的结构框图；图2为本专利技术提供的第二种实施方式的一种大数据可视化采集分析及文件转换系统的结构框图；图3为本专利技术提供的第三种实施方式的一种大数据可视本文档来自技高网...

【技术保护点】
一种大数据可视化采集分析及文件转换系统，其特征在于，系统包括数据采集模块(1)、数据存储模块(2)、分析计算模块(3)、可视图表生成模块(4)，所述采集模块(1)与所述数据存储模块(2)连接，所述数据存储模块(2)与所述分析计算模块(3)连接，所述分析计算模块(3)与所述可视图表生成模块(4)连接，系统还包括规则处理单元(5)，所述规则处理单元(5)与所述分析计算模块(3)连接，所述规则处理单元(5)内预先存储有对数据进行分析及计算规则模式。

【技术特征摘要】
1.一种大数据可视化采集分析及文件转换系统，其特征在于，系统包括数据采集模块(1)、数据存储模块(2)、分析计算模块(3)、可视图表生成模块(4)，所述采集模块(1)与所述数据存储模块(2)连接，所述数据存储模块(2)与所述分析计算模块(3)连接，所述分析计算模块(3)与所述可视图表生成模块(4)连接，系统还包括规则处理单元(5)，所述规则处理单元(5)与所述分析计算模块(3)连接，所述规则处理单元(5)内预先存储有对数据进行分析及计算规则模式。2.根据权利要求1所述的一种大数据可视化采集分析及文件转换系统，其特征在于，系统还包括数据分类模块(6)，所述数据分类模块(6)连接于所述采集模块(1)及所述数据存储模块(2)之间，所述数据分类模块(6)用于对所述数据分类模块(6)采集到的数据进行分类，供所述数据存储模块(2)分类存储。3.根据权利要求1所述的一种大数据可视化采集分析及文件转换系统，其特征在于，系统还包括数据汇总模块(7)，所述数据汇总模块(7)连接于所述采集模块(1)与所述数据存储模块(2)之间，所述数据汇总模块(7)对所述数据分类模块(6)分类得到的数据进行汇总，统一存储于所述数据存储模块(2)。4.根据权利要求2所述的一种大数据可视化采集分析及文件转换系统，其特征在于，系统还包括数据汇总模块(7)，所述数据汇总模块(7)连接于所述采集模块(1)与数据分类模块(6)之间，所述数据汇总模块(7)对所述数据分类模块(6)分类得到的数据进行汇总，统一进行分类存储，存储于所述数据存储模块(2)。5.根据权利要求1至4中任一所述的一种大数据可视化采集分析及文件转换系统，其特征在于，系统还包括模板生成模块(8)，所述模板生成模块(8)与所述数据存储模块(2)及所述分析计算模块(3)连接，且所述模板生成模块(8)与所述数据采集模块(1)连接，所述分析计算模块(3)分析生成模板生成规则，并将模板生成规则...

【专利技术属性】
技术研发人员：何中，鞠海林，严伟，戴建峰，徐晓辉，薛炜，王经纬，
申请(专利权)人：江苏中威科技软件系统有限公司，
类型：发明
国别省市：江苏;32