一种比对实时流数据的装置和方法制造方法及图纸

本发明专利技术以及大数据处理领域，尤其涉及一种比对实时流数据的装置和方法。所述装置包括：流数据输入接口，用于读取流数据；用户基础关键字输入接口，用于输入用户基础关键字；AI知识库接入接口，用于向AI知识库输入用户基础关键字，并接收AI知识库推荐设置的比对关键字；比对单元，用于比对所述流数据和所述比对关键字并输出比对结果；和预警比对输出接口，用于对外输出所述比对结果。本发明专利技术的装置可以极大地减少重复编码甚至达到零编码，降低开发成本；可以无缝的嵌套在各个业务治理系统中，实现实时快速比对，快速响应客户实时动态变化的需求，极大提高了实时数据使用的质量。极大提高了实时数据使用的质量。极大提高了实时数据使用的质量。

【技术实现步骤摘要】
一种比对实时流数据的装置和方法


[0001]本专利技术涉及大数据处理领域，尤其涉及一种比对实时流数据的装置和方法。

技术介绍

[0002]随着社会的高速发展，各行业数字化进程的推动，大数据精确比对预警推送就显得尤为重要，每天面对庞杂的业务数据，怎么从这些数据中找到我们想要的数据，这对每个行业来说都极其重要。
[0003]在各行业中一般都有一套甚至多套标准化数据治理流程。对于传统软件行业开发的预警比对功能，面对各类多源异构数据，通常都是只能比对某一特定的数据源，或者只能比对单个关键字，如果有不同的数据源以及不同的比对内容就需要重新写代码，重新部署上线，十分繁琐且不能及时响应客户动态需求。

技术实现思路

[0004]有鉴于现有技术的上述缺陷，本专利技术的目的是提供一种比对实时流数据的装置和方法，通过嵌入该装置和方法能很好的避免上述重复开发流程，极大缩小开发成本和人力投入，可以实践一套装置完成各类业务数据比对预警并推送到各类应用平台的功能，可实现实时设置并完成快速预警比对的需求，在系统业务以及功能层面快速实现零编码完成各类不同关键业务功能的数据预警比对推送功能。
[0005]为实现上述目的，本专利技术提供了一种比对实时流数据的装置，包括：
[0006]流数据输入接口，用于读取流数据；
[0007]用户基础关键字输入接口，用于输入用户基础关键字；
[0008]AI知识库接入接口，用于向AI知识库输入用户基础关键字，并接收AI知识库推荐设置的比对关键字；
[0009]比对单元，用于比对所述流数据和所述比对关键字并输出比对结果；
[0010]和预警比对输出接口，用于对外输出所述比对结果。
[0011]进一步的，所述比对单元的比对维度包括：比对关键字、目标组件类型和地址。
[0012]进一步的，所述比对单元的比对维度还包括：数据来源、资源表名、字段名、预警起止时间、使用资源线程数、预警数据阀值。
[0013]进一步的，所述预警比对输出接口连接的外部设备为日志系统。
[0014]进一步的，所述用户基础关键字输入接口为窗体。
[0015]本专利技术提供了一种比对实时流数据的方法，应用于本专利技术第一方面的比对实时流数据的装置，包括：
[0016]步骤S1、分析各业务系统数据解析入库流程，找到数据处理中间流程代码或装置嵌入本专利技术的比对实时流数据的装置的代码；
[0017]步骤S2、设置基础比对资源和比对结果集合；
[0018]步骤S3、输入用户基础关键字，并将用户基础关键字转发给AI知识库；
[0019]步骤S4、接收AI知识库根据用户基础关键字推荐的比对关键字；
[0020]步骤S5、获取业务系统的流数据，比对所述流数据和所述比对关键字，输出比对结果。
[0021]本专利技术实现了如下技术效果：
[0022](1)本专利技术的装置提供了一个灵活性高且低耦合的AI智能动态配置比对模板装置，可以极大地减少重复编码甚至达到零编码，降低开发成本。
[0023](2)本专利技术的装置可以无缝的嵌套在各个业务治理系统中，实现实时快速比对，快速响应客户实时动态变化的需求，极大提高了实时数据使用的质量。
附图说明
[0024]图1是本专利技术的比对实时流数据的装置的功能框图；
[0025]图2是本专利技术涉及的实时流数据比对流程图。
具体实施方式
[0026]为进一步说明各实施例，本专利技术提供有附图。这些附图为本专利技术揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本专利技术的优点。
[0027]现结合附图和具体实施方式对本专利技术进一步说明。
[0028]如图1所示，本专利技术公开了一种比对实时流数据的装置，具体为一个嵌入式插件形式的计算机程序，包括：流数据输入接口、用户基础关键字输入接口、AI知识库接入接口、比对单元和预警比对输出接口等。其中，读取流数据输入接口，用于读取流数据；用户基础关键字输入接口，用于和用户交互，输入用户基础关键字；AI知识库接入接口，用于和行业AI知识库交互，向AI知识库输入查询信息
‑
用户基础关键字，并接收AI知识库推荐的比对关键字；比对单元，用于比对流数据和比对关键字并输出比对结果；预警比对输出接口，用于对外输出结果。
[0029]其中的各输入接口、输出接口、接入接口即为程序间的参数调用接口。
[0030]在本实施例中，比对单元设置有基础比对表，基础比对表设置有多个比对维度，以便于从各方面适配各业务系统，最终给出比对结果。
[0031]在本实施例中，给出了一种基础比对表的比对维度的设置示例。该比对单元的比对维度包括：
[0032]2‑
1:dataSource:
[0033]配置需要比对的数据来源
[0034]2‑
2:resourceName:
[0035]配置需要进行比对的资源表名
[0036]2‑
3:fields:
[0037]配置需要比对的字段名，可以根据业务需求自定义
[0038]2‑
4:keyword:
[0039]配置需要进行比对的关键字，如果不配置则进行全字段匹配
[0040]2‑
5:starttime/endtime:
[0041]配置需要比对的预警起止时间
[0042]2‑
6:threshold:
[0043]配置解析需要的资源线程数，调优使用
[0044]2‑
7:sinkType/sinkAddress:
[0045]配置比对匹配后可以推送的目标组件类型以及对应的地址
[0046]在本实施例中，可以动态设置基础比对表，基础比对表支持数据库以及配置文件两种方式。
[0047]基础比对表在数据库配置模式下的参数定义，可见如下计算机代码：
[0048][0049][0050]在具体应用中，基础比对表的比对维度的设置至少包括了比对关键字、目标组件类型和地址，以实现对目标实时流数据的比对，在设置时属于必选项。其余的参数则为可选项，用于对实时流数据做进一步的比对、筛选，以完善比对预警信息。
[0051]在本实施例中，用户基础关键字输入接口的方式是窗体，可通过窗口灵活配置用户基础关键字。
[0052]如图2所示，采用本专利技术的比对实时流数据的装置(嵌入式插件)，执行如下流程：
[0053]步骤S1、分析各业务系统数据解析入库流程，找到数据处理中间流程代码或装置
嵌入本专利技术的比对实时流数据的装置的代码；
[0054]步骤S2、设置基础比对资源和比对结果集合；
[0055]步骤S3、输入用户基础关键字，并将用户基础关键字转发给AI知识库；
[0056]步骤S4、接收AI知识库根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种比对实时流数据的装置，其特征在于，包括：流数据输入接口，用于读取流数据；用户基础关键字输入接口，用于输入用户基础关键字；AI知识库接入接口，用于向AI知识库输入用户基础关键字，并接收AI知识库推荐设置的比对关键字；比对单元，用于比对所述流数据和所述比对关键字并输出比对结果；和预警比对输出接口，用于对外输出所述比对结果。2.如权利要求1所述的比对实时流数据的装置，其特征在于，所述比对单元的比对维度包括：比对关键字、目标组件类型和地址。3.如权利要求2所述的比对实时流数据的装置，其特征在于，所述比对单元的比对维度还包括：数据来源、资源表名、字段、预警起止时间、使用资源线程数、预警数据阀值。4.如权利要求1所述的比对实时流数据的装置，其特征在于，所述预警比对输出接口...

【专利技术属性】
技术研发人员：魏谋强，周成祖，魏超，陈涛涛，林劼，陈美凤，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：