一种数据解析采集方法技术

技术编号:32361861 阅读:17 留言:0更新日期:2022-02-20 03:30
本发明专利技术公开了一种数据解析采集方法,包括将各个数据采集请求依次发送至数据采集设备;所述数据采集请求对应的解析协议按照所述数据采集请求的发送顺序预设有协议索引;接收所述数据采集设备根据所述数据采集请求返回的采集数据,并对各个所述采集数据按照返回顺序设置数据索引。有益效果:本申请为业务系统提供独立的数据采集工具,当业务系统需要采集数据时,通过独立的数据采集工具就可实现数据的采集,避免了系统为了采集数据而必须对自身进行改造、集成数据采集工具,解决了项目的搭建部署复杂、成本高的问题。成本高的问题。

【技术实现步骤摘要】
一种数据解析采集方法


[0001]本专利技术涉及数据采集
,尤其涉及一种数据解析采集方法。

技术介绍

[0002]信息是现代企业的重要资源,是企业运用科学管理、决策分析的基础。目前,大多数企业花费大量的资金和时间来构建联机事务处理的业务系统,用来记录事务处理的各种相关数据。在这个背景下,数据仓库应用而生。数据仓库是把产生的数据整合到一起发掘其中的商业价值和提供决策支持用的。数据仓库的产生是需要从大量的源数据中选择有用的数据,再经过一系列处理,最终存储入数据仓库。
[0003]目前采集源数据以及处理数据的方法,通常都是业务数据需求方根据自己的业务需求编译或者订制与自己所需求的业务数据高度相关的处理工具,并整合到自己的业务系统中。

技术实现思路

[0004]本专利技术的目的是提供一种数据解析采集方法,本申请为业务系统提供独立的数据采集工具,当业务系统需要采集数据时,通过独立的数据采集工具就可实现数据的采集,避免了系统为了采集数据而必须对自身进行改造、集成数据采集工具,解决了项目的搭建部署复杂、成本高的问题。
[0005]本专利技术的技术方案是这样实现的:
[0006]一种数据解析采集方法,包括将各个数据采集请求依次发送至数据采集设备;
[0007]所述数据采集请求对应的解析协议按照所述数据采集请求的发送顺序预设有协议索引;
[0008]接收所述数据采集设备根据所述数据采集请求返回的采集数据,并对各个所述采集数据按照返回顺序设置数据索引;
[0009]当接收到解析指令时,通过目标采集数据的数据索引确定目标协议索引,根据所述目标协议索引获取目标解析协议对所述目标采集数据进行解析,获得目标解析数据;
[0010]数据采集请求通过服务界面接收用户输入的数据采集设置信息,并将所述数据采集设置信息发送给所述数据采集工具;通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据;在接收到所述数据采集工具发送的数据采集完成的信息之后,从所述数据采集工具的数据库中调取采集到的数据。
[0011]进一步的,所述数据采集请求与对应的解析协议按照数据采集请求的发送顺序保存于协议列表中。
[0012]进一步的,接收所述数据采集设备根据所述数据采集请求返回的采集数据,并对各个所述采集数据按照返回顺序设置数据索引之后,还包括:将数据采集请求对应的采集数据按照所述返回顺序保存至数据列表。
[0013]进一步的,在将所述数据采集设置信息发送给所述数据采集工具之后,所述方法
还包括:获取所述数据采集工具采集数据的状态信息,并将所述状态信息通过所述服务界面实时显示,以便于用户通过所述服务界面监控和查看数据采集的状态。
[0014]本专利技术的有益效果是:本专利技术通过显示预先创建的数据采集工具的服务界面,通过所述服务界面接收用户输入的数据采集设置信息,并将所述数据采集设置信息发送给所述数据采集工具,通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据,在接收到所述数据采集工具发送的数据采集完成的信息之后,从所述数据采集工具的数据库中调取采集到的数据,本申请为业务系统提供独立的数据采集工具,当业务系统需要采集数据时,通过独立的数据采集工具就可实现数据的采集,避免了系统为了采集数据而必须对自身进行改造、集成数据采集工具,解决了项目的搭建部署复杂、成本高的问题。
具体实施方式
[0015]下面将结合本专利技术实施例,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。
[0016]根据本专利技术的实施例,提供一种数据解析采集方法。
[0017]根据本专利技术实施例的数据解析采集方法,包括将各个数据采集请求依次发送至数据采集设备;
[0018]所述数据采集请求对应的解析协议按照所述数据采集请求的发送顺序预设有协议索引;
[0019]接收所述数据采集设备根据所述数据采集请求返回的采集数据,并对各个所述采集数据按照返回顺序设置数据索引;
[0020]当接收到解析指令时,通过目标采集数据的数据索引确定目标协议索引,根据所述目标协议索引获取目标解析协议对所述目标采集数据进行解析,获得目标解析数据;
[0021]数据采集请求通过服务界面接收用户输入的数据采集设置信息,并将所述数据采集设置信息发送给所述数据采集工具;通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据;在接收到所述数据采集工具发送的数据采集完成的信息之后,从所述数据采集工具的数据库中调取采集到的数据。
[0022]具体的,以上是基于接收到的数据采集请求为各个数据采集设备,在实际的数据通信过程中,数据采集请求的类型和数量并不唯一,还可能为针对不同数据采集设备、不同请求数据长度的数据采集请求,也可能为针对不同数据采集设备、相同请求数据长度的数据采集请求,对于此类数据采集请求,由于其类型的不同,均可根据其相应的请求信息以及采集数据的数据信息进行相应的对照,而无需索引的设置。因此,对于该类数据采集请求,可直接将其发送至对应的数据采集设备,并获取数据采集设备获取的采集数据;进一步,当接收到解析指令时,可直接根据相关信息确定对应的解析协议,并完成数据解析。
[0023]进一步的,所述数据采集请求与对应的解析协议按照数据采集请求的发送顺序保存于协议列表中。
[0024]进一步的,接收所述数据采集设备根据所述数据采集请求返回的采集数据,并对各个所述采集数据按照返回顺序设置数据索引之后,还包括:将数据采集请求对应的采集数据按照所述返回顺序保存至数据列表。
[0025]进一步的,在将所述数据采集设置信息发送给所述数据采集工具之后,所述方法还包括:获取所述数据采集工具采集数据的状态信息,并将所述状态信息通过所述服务界面实时显示,以便于用户通过所述服务界面监控和查看数据采集的状态。
[0026]具体地,在所述数据采集工具的服务界面上预设“自动触发”和“触发”按钮;在将所述数据采集设置信息发送给所述数据采集工具之后,在通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据之前,系统在预定时间内检测“自动触发”按钮是否被按下;当系统检测到“自动触发”按钮被按下,即获取到自动触发指令,则系统立即向所述数据采集工具发送启动数据转换任务的指令,所述数据采集工具收到所述业务系统发送的启动数据转换任务的指令后,启动数据转换任务;当系统没有检测到“自动触发”按钮被按下,即获取到手动触发指令,则业务系统监测用户是否手动点击“触发”按钮,一旦监测到用户点击“触发”按钮,系统就会向所述数据采集工具发送启动数据转换任务的指令,所述数据采集工具收到所述业务系统发送的启动数据转换任务的指令后,启动数据转换任务。
[0027]通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据还包括:通过所述数据采集工具中的数据转换文件根据所述数据采集设本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据解析采集方法,其特征在于,包括将各个数据采集请求依次发送至数据采集设备;所述数据采集请求对应的解析协议按照所述数据采集请求的发送顺序预设有协议索引;接收所述数据采集设备根据所述数据采集请求返回的采集数据,并对各个所述采集数据按照返回顺序设置数据索引;当接收到解析指令时,通过目标采集数据的数据索引确定目标协议索引,根据所述目标协议索引获取目标解析协议对所述目标采集数据进行解析,获得目标解析数据;数据采集请求通过服务界面接收用户输入的数据采集设置信息,并将所述数据采集设置信息发送给所述数据采集工具;通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据;在接收到所述数据采集工具发送的数据采集完成的信息之后,从所述数据采集工...

【专利技术属性】
技术研发人员:周仕波
申请(专利权)人:安徽布尔自动化工程有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1