一种基于制造技术

本发明专利技术公开了一种基于

【技术实现步骤摘要】
一种基于wasm的数据可视化处理方法和系统


[0001]本专利技术属于数据处理
，具体涉及一种基于
wasm
的数据可视化处理方法和系统
。

技术介绍

[0002]现有主流前端使用的
JavaScript
无法将偏于数据处理计算的
ETL
模式应用于前端中，
ETL
模式仅作为实现
web
前端轻量服务应用的用户交互操作与数据展现
。
[0003]当前
web
前端与
ETL
模式之间主流的对接方式，仍然是前后台分工职能，
web
前端的
JavaScript
负责可视化的输入配置和结果展出，后端的
ETL
模式负责基于服务端的数据处理流程
。
[0004]数字化趋势的发展，快速推动所有领域的现代企业和政府对分析的需求，也包括个人对数据的自助分析
。
人工智能
、
物联网和
SaaS(
云
)
分析以及商业智能平台的快速发展，使得非专业人士也能够更轻松
、
更经济有效地进行分析，更好地为决策提供信息
。
[0005]而作为基础数据处理的
ETL
服务，却往往强依赖于服务器资源，并且需要进行前后端的运行部署，
web
前端的
JavaScript
负责可视化的输入配置和结果展出，后端的
ETL
模式负责基于服务端的数据处理流程，从而实现支撑用户的可视化
ETL
操作
。
[0006]这种方式至少存在以下问题：
[0007](1)
前端用户提交数据文件或配置信息，需要传输到服务器后端
ETL
服务来进行处理，数据处理结果再推送到前端呈现，无论数据文件
、
配置文件有多大，即便将部分数据信息在前端进行适当拆解或分片传输到服务器端，但依然存在通信传输效率低下的影响
。
[0008](2)
作为全流程的数据处理过程，在前端进行轻量化配置或输入规则，但执行依赖于后端数据处理，无法更直观透明的了解数据处理当前情况与步骤状态，并无法随时作出规则或配置调整
。
如果把后端的控制台等整个功能全都做成接口进行前端的即时展示，通信成本更高，服务接口更复杂
。
[0009](3)
服务端的
ETL
在受到多方客户端进行访问操作时，受制于本地化
ETL
任务分配资源，
ETL
是个需要一定耗时的复杂数据处理过程，当遇到高并发时，会影响其它部分用户的操作处理效率，无法做到独立客户端本地运行
。

技术实现思路

[0010]为了解决现有技术中的
ETL
服务往往强依赖于服务器资源，需要在后端服务器进行数据处理流程，通信传输效率低下，无法更直观透明的了解数据处理当前情况与步骤状态，服务端的
ETL
在受到多方客户端进行访问操作时会影响其它部分用户的操作处理效率的技术问题，本专利技术提供一种基于
wasm
的数据可视化处理方法和系统
。
[0011]第一方面
[0012]本专利技术提供了一种基于
wasm
的数据可视化处理方法，包括：
[0013]S101
：构建
wasm
模块以及相应的
wasm
文件；
[0030]在一个实施例中，参考说明书附图1，示出了本专利技术提供的一种基于
wasm
的数据可视化处理方法的流程示意图
。
[0031]本专利技术提供的一种基于
wasm
的数据可视化处理方法，包括：
[0032]S101
：构建
wasm
模块以及相应的
wasm
文件
。
[0033]其中，
wasm(WebAssembly)
技术是由主流的浏览器厂商组成的
W3C
社区团体制定的一个新的规范，旨在提供一个高效
、
开放
、
安全
、
标准的技术方案
。wasm
技术是一种新型的二进制代码格式，可以在现代
Web
浏览器中运行，并且可以为
Web
平台上的高性能应用程序提供一种更快，更安全和更可靠的方式
。wasm
技术能够与其他
Web
技术
(
例如
JavaScript
，
HTML
和
CSS)
一起使用，允许开发人员逐步地将现有的
Web
应用程序移植到
WASM
中
。
[0034]进一步地，调用
localForage
的
setItem
方法，对
wasm
文件进行客户端持久化存储
。
[0035]需要说明的是，
localForageJS
可根据客户端浏览器版本及
api
支持情况，使用所提供的统一的
api
，自动选择或判断使用
webSql/localStorage
进行客户端缓存持久化，以保证浏览器在需要对
wasm
模块多实例时或在浏览器刷新时，可以直接从本地数据库缓存中读取相应
wasm
模块，并迅速实例，恢复页面状态
。
[0036]进一步地，还构建
wasm
的缓存池和缓存池管理器
,
缓存池管理器在后续环节中会实现对中间数据和结果数据的缓存和持久化存储管理
。
[0037]进一步地，基于原生的
WASM
服务，对其配套定制的规则库与算法的变量初始化缓存
。
[0038]其中，初始化缓存包括几种类型缓存的联接管理，为后续的双缓存机制协同铺垫
。
[0039]S102
：可视化配置数据源以及
ETL
规则
。
[0040]其中，
ETL
是一个常用于数据管理和数据仓库构建过程中的缩写，它代表了一组数据处理任务，通常包括三个主要步骤：抽取
(Extract)
，转换
(Transform)
，加载
(Load)。
[0041]具体而言，为了实现在线可视化，进行
ETL
数据处理流程的操作
、
配置
、
管理，包括：配置数据源
、
数据关系
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
wasm
的数据可视化处理方法，其特征在于，包括：
S101
：构建
wasm
模块以及相应的
wasm
文件；
S102
：可视化配置数据源以及
ETL
规则；
S103
：将配置的数据源以及
ETL
规则加载到所述
wasm
模块运行的沙箱化环境中，利用所述
ETL
规则对来自所述数据源的异构数据进行抽取
、
清洗和转换；
S104
：基于
wasm
内存和浏览器持久化内存相互协同配合的双缓存协同机制，对转换后的数据进行缓存；
S105
：可视化展示数据处理结果
。2.
根据权利要求1所述的基于
wasm
的数据可视化处理方法，其特征在于，所述
S102
具体为：对数据源
、
数据关系
sql
以及清洗规则进行增
、
删
、
改
、
查
。3.
根据权利要求1所述的基于
wasm
的数据可视化处理方法，其特征在于，所述
S102
具体包括：
S1021
：基于
websql
进行
sql
化管理和配置所述
ETL
规则，利用
websql
的
sql
语义解析能力，结合所述
wasm
模块内置的配置解析器进行配置解析，所述配置解析器获取
websql
的语法解析树进行二次解析，并将解析数据保存在
js
变量中；
S1022
：调用所述
wasm
模块的
instantiate
方法从底层源编译和实例化所述
wasm
模块，并在实例化时，创建内存空间，将
js
变量当作参数一并传入
wasm
模块，之后通过所述配置解析器进行解析，并配合转换器完成数据转换和内存加载
。4.
根据权利要求1所述的基于
wasm
的数据可视化处理方法，其特征在于，数据清洗的具体步骤包括：对每一个序列进行建模，分析正常模式特征，在检测时将数据对本列模型匹配的预测值作为匹配度，同时记录错列集合并进行浏览器数据持久化；将从源数据中抽取出来的中间数据，按照时间维度切分为
k
个不同的新数据序列，表示为
S
k
，将待清洗处理的数据分组在第
l
段序列中，则第
l
段序列中的第
k
个数据序列表示为
n
表示第
k
个数据序列的数据点的总个数；通过协方差矩阵计算数据序列之间的相关性：其中，
ST
l
表示第
l
段序列中数据序列的相关性，表示第
l
段序列中第
i
个数据序列和第
j
个数据序列之间的相关性，
i
＝
1,2,
…
,k
，
j
＝
1,2,
…
,k
，
k
表示...

【专利技术属性】
技术研发人员：李文斌，
申请(专利权)人：中电信数智科技有限公司，
类型：发明
国别省市：