一种用于数据可视化的多数据源接入方法及系统技术方案

本发明专利技术属于数据可视化技术领域，具体涉及一种用于数据可视化的多数据源接入方法及系统，包括：获取可视化大屏的可视化组件；设计可视化组件接入数据源的数据源类型，确定各类型数据源的接入方式；为可视化组件选择接入数据源的数据源类型，配置数据源信息，获取数据集；将数据集绑定到该可视化组件上，并依据可视化组件的数据需求将数据集中的数据进行转换；数据源类型包括JSON静态数据类型、FILE数据类型、JDBC数据类型、API接口数据类型和SCRIPT数据类型中至少两种数据类型；由此本发明专利技术解决了现有技术中实现数据可视化功能时开发工作效率低和成本高的问题。率低和成本高的问题。率低和成本高的问题。

【技术实现步骤摘要】
一种用于数据可视化的多数据源接入方法及系统


[0001]本专利技术属于数据可视化
，具体涉及一种用于数据可视化的多数据源接入方法及系统。

技术介绍

[0002]数据可视化(英語：Data visualization)被许多学科视为与视觉传达含义相同的现代概念。它涉及到数据的可视化表示的创建和研究。
[0003]为了清晰有效地传递信息，数据可视化使用统计图形、图表、信息图表和其他工具。可以使用点、线或条对数字数据进行编码，以便在视觉上传达定量信息。有效的可视化可以帮助用户分析和推理数据和证据。它使复杂的数据更容易理解和使用。用户可能有特定的分析任务(如进行比较或理解因果关系)，以及该任务要遵循的图形设计原则。表格通常用于用户查找特定的度量，而各种类型的图表用于显示一个或多个变量的数据中的模式或关系。
[0004]数据可视化既是一门艺术也是一门科学。有些人认为它是描述统计学的一个分支，但也有些人认为它是一个扎根理论开发工具。互联网活动产生的数据量的增加和环境中传感器数量的增加被称为大数据或物联网。处理、分析和交流这些数据对数据可视化来说是分析方面的挑战。
[0005]数据可视化是关于数据之视觉表现形式的研究，这种数据的视觉表现形式也随着行业不断快速发展，相对于传统图表与BI数据仪表盘，以更加时效性、多样性、直观生动和友好的形式呈现数据可视化效果，成为日常工作中的急迫需求；但是数据可视化效果的呈现也表现出其不可复用性的一面。现有数据可视化多采用一次性设计，其呈现效果的数据来源是特定的，数据类型是特定的，一旦数据来源发生变化、减少或增加数据类型，原来已经开发完成的数据可视化的交付物就不能真实反映出其数据价值，需要数据研发人员重新针对新数据源数据类型进行重新定制开发数据可视化组件对应数据类型，以实现支持该种数据类型的接入处理，造成了周期长、工作量大，导致存在开发效率低、成本高的问题。
[0006]比如，面对不同的客户，可视化数据相同，但是数据来源不同，现有技术中总是针对客户的数据来源进行修改，带来额外的工作量，导致工作效率低。
[0007]另一方面，在数据可视化交付的不同阶段数据源类型是不一样的，譬如：
[0008]1)在开发阶段中，可视化组件一般是接入静态JSON数据；
[0009]2)在测试阶段中，此可视化组件是测试数据库环境下的动态数据；
[0010]3)在交付实施阶段中，此可视化组件的数据来源可能是数据仓库中数据集中低代码数据，也可能是SQL数据，更可能是websocket数据或者是MQTT实时数据。
[0011]总之，目前针对不同的数据来源，需要数据研发人员重新针对新数据源数据类型进行重新定制开发数据可视化组件对应数据类型，以实现支持该种数据类型的接入处理，造成开发周期长、工作量大，即由于现有技术中支持的数据来源少，导致实现数据可视化功能时开发效率低和成本高的问题。

技术实现思路

[0012]本专利技术的目的在于提供一种用于数据可视化的多数据源接入方法及系统，用以解决现有技术中实现数据可视化功能时开发工作效率低和成本高的问题。
[0013]为解决上述技术问题，本专利技术所提供的技术方案以及技术方案对应的有益效果如下：
[0014]本专利技术的一种用于数据可视化的多数据源接入方法，其特征在于：
[0015]包括以下步骤：
[0016]1)获取可视化大屏的可视化组件；
[0017]2)设计可视化组件接入数据源的数据源类型，确定各类型数据源的接入方式；
[0018]3)为可视化组件选择接入数据源的数据源类型，配置数据源信息，获取数据集；
[0019]4)将数据集绑定到该可视化组件上，并依据可视化组件的数据需求将数据集中的数据进行转换；
[0020]所述数据源类型包括JSON静态数据类型、FILE数据类型、JDBC数据类型、API接口数据类型和SCRIPT数据类型中至少两种数据类型；API接口数据为依据待请求数据的基础信息通过接口方式获取待请求数据，以用于建立数据集；SCRIPT数据为通过JavaScript和/或Python脚本方式获取待请求数据，并对获取的待请求数据依据业务需求进行二次处理得到的数据，以用于建立数据集。
[0021]上述技术方案的有益效果为：本专利技术在实现数据可视化功能时，支持多种数据类型接入；本专利技术只需依据可视化组件数据需求一次配置支持关系型数据库、系统接口服务、内存数据库、静态文件与静态数据等多种形式，在实现数据可视化时，通过选择数据来源类型，配置数据源信息，即可得到该类型的数据，无需开发人员过多的修改。基于异构数据源整合，可轻松接入企业各个业务系统，减小工作人员的工作量，降低了制作大屏的开发成本和人力成本，提高了开发效率，彻底打破数据孤岛。
[0022]进一步地，为了支持多种数据源，步骤4)中将数据集中的数据进行转换包括：依据可视化组件中需要的目标数据对数据集中的数据进行裁剪；依据可视化组件中需要的目标数据的数据类型，将数据集中的数据进行类型转换。
[0023]进一步地，API接口数据类型采用以下方式接入：
[0024]选择数据模型，创建数据集，配置API接口基础信息，即可获取API接口请求的数据，以用于生成对应的数据集；API基础信息包括请求地址、请求方式和请求数据；请求数据中包括请求头、请求参数和请求body。
[0025]进一步地，为了提高展示数据的灵活性，SCRIPT数据类型数据源采用以下方式接入：选择数据模型，创建数据集，采用脚本抓取数据，并将经过脚本处理得到的数据与模板变量关联，以得到生成数据集的数据。
[0026]进一步地，通过设定模板变量的方式进行裁剪数据。
[0027]进一步地，JSON静态数据类型数据源采用以下方式接入：选择JSON静态数据类型，在编辑区域内编写图表数据，其中数据格式依据对应可视化组件中的数据格式确定；保存编写的图表数据，生成JSON静态数据对应的数据集；
[0028]FILE数据类型数据源采用以下方式接入：FILE数据类型对应的数据源文件包括Excel或CSV；获取选择的数据源文件，并建立数据模型，建立生成对应的数据集；
[0029]JDBC数据类型数据源采用以下方式接入：创建JDBC数据源，选择数据源驱动，设置连接数据库的配置信息；配置信息包括JDBC源地址、JDBC用户名和JDBC密码；验证与数据库的连通状况；连通性验证通过后，获取JDBC数据，建立数据模型，得到对应的数据集。
[0030]进一步地，JDBC数据源连接的数据库为MySQL、SQL Server、PostgreSQL、Oracle、Redis和MongoDB中任意一种数据库。
[0031]进一步地，类型数据源的接入方式的设定包括对接入数据源的刷新频率的设定，以用于根据设定的刷新频率刷新数据。
[0032]为了解决以上问题，本专利技术又提供了一种用于数据可视化的多数据源接入系统，该系统包括处理器，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于数据可视化的多数据源接入方法，其特征在于：包括以下步骤：1)获取可视化大屏的可视化组件；2)设计可视化组件接入数据源的数据源类型，确定各类型数据源的接入方式；3)为可视化组件选择接入数据源的数据源类型，配置数据源信息，获取数据集；4)将数据集绑定到该可视化组件上，并依据可视化组件的数据需求将数据集中的数据进行转换；所述数据源类型包括JSON静态数据类型、FILE数据类型、JDBC数据类型、API接口数据类型和SCRIPT数据类型中至少两种数据类型；API接口数据为依据待请求数据的基础信息通过接口方式获取待请求数据，以用于建立数据集；SCRIPT数据为通过JavaScript和/或Python脚本方式获取待请求数据，并对获取的待请求数据依据业务需求进行二次处理得到的数据，以用于建立数据集。2.根据权利要求1所述的用于数据可视化的多数据源接入方法，其特征在于：步骤4)中将数据集中的数据进行转换包括：依据可视化组件中需要的目标数据对数据集中的数据进行裁剪；依据可视化组件中需要的目标数据的数据类型，将数据集中的数据进行类型转换。3.根据权利要求1所述的用于数据可视化的多数据源接入方法，其特征在于：API接口数据类型数据源采用以下方式接入：选择数据模型，创建数据集，配置API接口基础信息，即可获取API接口请求的数据，以用于生成对应的数据集；API基础信息包括请求地址、请求方式和请求数据；请求数据中包括请求头、请求参数和请求body。4.根据权利要求1所述的用于数据可视化的多数据源接入方法，其特征在于：SCRIPT数据类型数据源采用以下方式接入：选择数据模型，创建数据集，采用脚本抓取数据，并将经过脚本处理得到的数...

【专利技术属性】
技术研发人员：杨长昆，张乡音，张伟，魏星，欧阳婷，赵黎明，
申请(专利权)人：新开普电子股份有限公司，
类型：发明
国别省市：