一种数据采集的方法、装置、介质及程序产品制造方法及图纸

技术编号:37357385 阅读:14 留言:0更新日期:2023-04-27 07:07
本申请涉及计算机技术领域,具体涉及一种数据采集的方法、装置、介质及程序产品,该方法包括:创建业务系统的切面框架,切面框架包括织入点,织入点包括目标业务流程的名称,和织入点相对目标业务流程的位置,目标业务流程是根据监管报送的指标参数确定的;根据织入点检测业务系统中的多个业务流程;在确定检测到目标业务流程时,根据指标参数的统计逻辑更新指标参数。采用上述方法,用以解决在监管报送数据落库后进行采集,存在对软硬件要求高,采集效率低的问题。效率低的问题。效率低的问题。

【技术实现步骤摘要】
一种数据采集的方法、装置、介质及程序产品


[0001]本专利技术涉及但不限于计算机
,尤其涉及一种数据采集的方法、装置、介质及程序产品。

技术介绍

[0002]监管报送,主要指按上级业务监管部门要求上报数据。以金融领域为例,各金融机构如银行、券商、基金等,需要定期向上级监管部门报送业务运营数据及系统运行情况。
[0003]现有的监管报送数据采集方法,包括逐个采集的方法。需要由数据组件从各个上游业务系统的数据库表中,通过结构化查询语言(Structured Query Language,SQL)查询语句,查询所需数据,然后进行拼接和组合加工处理生成监管报送数据。此种逐个采集的方法,需要了解分布在多个不同系统的数据库表字段含义,金融机构的系统较为庞大,关联组件和数据关系复杂,数据口径不一致,逐个采集整合数据极其困难。
[0004]现有的监管数据采集报送方法,还包括采用基于数据仓库的数据库仓库技术(Extract

Transform

Load,ETL)进行抽取的方法。将企业内部所有上游业务系统的结构化数据(关系型数据库中的数据)、半结构化数据(纯文本数据,有各类存储格式如文本文档(Text,TXT)、可扩展标记语言(Extensible Markup Language,XML))、非结构化数据(文件系统中存储的图片、音频、视频等),提供给企业级数据仓库,数据仓库通过ETL工具按规则进行清洗和转换,日终跑批后生成监管报送文件。此种基于数据仓库的ETL技术进行抽取的方式,需要搭建庞大的数据库处理集群,并需要使用专业化的ETL工具软件,软硬件实施成本非常高。

技术实现思路

[0005]本专利技术提供一种数据采集的方法、装置、介质及程序产品,用以解决在监管报送数据落库后进行采集,存在对软硬件要求高,采集效率低的问题。
[0006]第一方面,本申请提供一种数据采集方法,该方法包括:
[0007]创建业务系统的切面框架,所述切面框架包括织入点,所述织入点包括目标业务流程的名称,和所述织入点相对所述目标业务流程的位置,所述目标业务流程是根据监管报送的指标参数确定的;
[0008]根据所述织入点检测所述业务系统中的多个业务流程;
[0009]在确定检测到所述目标业务流程时,根据所述指标参数的统计逻辑更新所述指标参数。
[0010]现有技术下,所需上报的指标参数,是在数据已经落入数据库后,再进行提取加工后得到的,处理方式复杂,对软硬件要求高。采用上述设计,通过建立切面框架,根据织入点对目标业务流程进行检测,在检测到目标业务流程时根据指标参数的统计逻辑得到指标参数,是在数据落库之前,就完成了数据采集,提高了数据采集效率,同时采用切面技术,对软硬件要求低,性能稳定。
[0011]在一种可能的设计中,创建业务系统的切面框架,包括:根据所述业务系统的种类创建所述业务系统的切面框架。
[0012]在一种可能的设计中,所述指标参数的统计逻辑为每次检测到所述目标业务流程,则所述指标参数更新为所述指标参数与预设数值之和。
[0013]在一种可能的设计中,在确定检测到所述目标业务流程时,根据所述指标参数的统计逻辑更新所述指标参数,包括:
[0014]在所述织入点位于所述目标业务流程之前时,在执行目标业务流程之前根据所述指标参数的统计逻辑更新所述指标参数;
[0015]在所述织入点位于所述目标业务流程之后时,在执行目标业务流程之后根据所述指标参数的统计逻辑更新所述指标参数。
[0016]采用上述设计,可以灵活定义织入点与目标业务流程的位置关系,以满足各类指标参数的采集要求。
[0017]在一种可能的设计中,根据所述织入点检测所述业务系统中的多个业务流程,包括:
[0018]根据所述织入点检测针对所述业务系统的业务数据对应的类或方法。
[0019]第二方面,本申请提供一种数据采集的装置,所述装置为数据采集平台或用于执行数据采集平台的功能的芯片,该装置包括处理单元和收发单元:所述处理单元调用所述收发单元执行:
[0020]创建业务系统的切面框架,所述切面框架包括织入点,所述织入点包括目标业务流程的名称,和所述织入点相对所述目标业务流程的位置,所述目标业务流程是根据监管报送的指标参数确定的;
[0021]根据所述织入点检测所述业务系统中的多个业务流程;
[0022]在确定检测到所述目标业务流程时,根据所述指标参数的统计逻辑更新所述指标参数。
[0023]在一种可能的设计中,所述处理单元,用于在创建业务系统的切面框架时,根据所述业务系统的种类创建所述业务系统的切面框架。
[0024]在一种可能的设计中,所述指标参数的统计逻辑为所述处理单元每次检测到所述目标业务流程,则所述指标参数更新为所述指标参数与预设数值之和。
[0025]在一种可能的设计中,所述处理单元,用于在确定检测到所述目标业务流程,根据所述指标参数的统计逻辑更新所述指标参数时;在所述织入点位于所述目标业务流程之前时,在执行目标业务流程之前根据所述指标参数的统计逻辑更新所述指标参数;在所述织入点位于所述目标业务流程之后时,在执行目标业务流程之后根据所述指标参数的统计逻辑更新所述指标参数。
[0026]在一种可能的设计中,所述处理单元,用于根据所述织入点检测所述业务系统中的多个业务流程时,根据所述织入点检测针对所述业务系统的业务数据对应的类或方法。
[0027]第二方面中的装置所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。
[0028]第三方面,本申请还提供一种装置。该装置可以执行上述方法设计。该装置可以是能够执行上述方法对应的功能的芯片或电路,或者是包括该芯片或电路的设备。
[0029]在一种可能的实现方式中,该装置包括:存储器,用于存储计算机可执行程序代码;以及处理器,处理器与存储器耦合。其中存储器所存储的程序代码包括指令,当处理器执行所述指令时,使该装置或者安装有该装置的设备执行上述任意一种可能的设计中的方法。
[0030]其中,该装置还可以包括通信接口,该通信接口可以是收发器,或者,如果该装置为芯片或电路,则通信接口可以是该芯片的输入/输出接口,例如输入/输出管脚等。
[0031]在一种可能的设计中,该装置包括相应的功能单元,分别用于实现以上方法中的步骤。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的单元。
[0032]第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在装置上运行时,执行上述任意一种可能的设计中的方法。
[0033]第五方面,本申请提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行第一方面中任一项所述的方法。
[0034]另本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法,其特征在于,该方法包括:创建业务系统的切面框架,所述切面框架包括织入点,所述织入点包括目标业务流程的名称,和所述织入点相对所述目标业务流程的位置,所述目标业务流程是根据监管报送的指标参数确定的;根据所述织入点检测所述业务系统中的多个业务流程;在确定检测到所述目标业务流程时,根据所述指标参数的统计逻辑更新所述指标参数。2.如权利要求1所述的方法,其特征在于,创建业务系统的切面框架,包括:根据所述业务系统的种类创建所述业务系统的切面框架。3.如权利要求1所述的方法,其特征在于,所述指标参数的统计逻辑为每次检测到所述目标业务流程,则所述指标参数更新为所述指标参数与预设数值之和。4.如权利要求1所述的方法,其特征在于,在确定检测到所述目标业务流程时,根据所述指标参数的统计逻辑更新所述指标参数,包括:在所述织入点位于所述目标业务流程之前时,在执行目标业务流程之前根据所述指标参数的统计逻辑更新所述指标参数;在所述织入点位于所述目标业务流程之后时,在执行目标业务流程之后根据所述指标参数的统计逻辑更新所述指标参数。5.如权利要求1所述的方法,其特征在于,根据所述织入点检测所述业务系统中的多个业务流程,包括:根据所述织入点检测针对所述业务系统的业务数据对应的类或方法。6.一种数据采集的装置,其特征在于,所述装置为数据采集平台或用于执行数据采集平台的功能的芯片,该装置包括处理单元和收发单元:所述处理单元调用所述收发单元执行:创建业务系统的切面框架,所述切面框架包括织入点,所述织入点包括目标业务流程的名称,和所述织入点相对所述目标业务流程的位置,所述目标业务流程是根据监管报送的指标参数确定的;根据所述织入点检测所述业务系统中的多个业务流程;在确定检测到所述目标...

【专利技术属性】
技术研发人员:张伟龙朱珊珊
申请(专利权)人:建信金融科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1