【技术实现步骤摘要】
本专利技术涉及对交易流水数据进行处理的计算机技术，具体地涉及一种数据实时处理方法以及数据实时处理系统。
技术介绍
1、在现有的对流水数据进行处理的技术中主要存在以下几种问题：
2、(1)现有技术中，一般主要适用于对单一一条流水是否存在异常情况进行统计校验，对于时间段内的需要聚合处理的指标统计兼容性差。而且，一般由于没有存储单元，只能统计单个用户短时间范围的交易指标，无法统计活动开展以来的年度或月度等长时间范围的指标；
3、(2)现有技术中需要传输业务交易流水数据至kafka等消息中间件，统计的实时性较差，而且，需要业务系统主动将流水推送，如果某指标涉及多个系统或者涉及多种不同类型的流水，则还需要再做形变归集等操作，耗时耗力；
4、(3)一般不会考虑也不兼容存量历史统计的指标出现异常需要回退的情况，由于磁盘空间的限制，kafka中的记录一般仅保存较少天数的记录，当统计口径出现问题或者调整时，现有技术中是无法回退到指定的时间点，从而无法对存量历史统计数据做更新修复，导致继续累计的指标出现错误；
5、(4)一般无法处理迟到流水对单日指标的干扰，交易系统时常会存在波动，甚至极端情况出现异常，导致交易流水延迟到达，这样在统计每日维度的交易数据时，可能会存在原先应该纳入前一天统计的交易流水，由于晚点，将其归纳至后一天，导致每天的实际交易指标出现偏差。
技术实现思路
1、为了解决上述现有技术中的问题，本专利技术旨在提供一种能够进行实时指标统计的数据
2、进一步，本专利技术还旨在提供一种能够进行自适应修复的数据实时处理方法以及数据实时处理系统。
3、本专利技术一方面的数据实时处理方法包括：
4、数据抽取步骤，从业务数据库直接抽取流水数据；
5、数据预处理步骤，对于所述数据抽取步骤抽取的流水数据进行预处理并且输出预处理后的流水数据；以及
6、指标统计步骤，对于所述预处理后的流水数据按照活动种类和时间级别进行切分分组，对于切分分组后的流水数据分别进行指标值统计，通过滑动窗口计算各个活动种类的时间级别的指标累计值。
7、可选地，进一步包括：
8、指标存储步骤，对于所述指标统计步骤中得到的所述时间级别的指标累计值分别存储不同天的指标累计值。
9、可选地，进一步包括：
10、数据备份步骤，备份所述数据预处理步骤输出的所述预处理后的流水数据得到备份数据；以及
11、指标回放步骤，从所述备份数据中提取指定回放时间段的备份数据，统计所述指定回放时间段的备份数据的时间级别的指标统计值，得到更新后的时间级别的指标累计值。
12、可选地，在所述指标存储步骤，存储所述指标回放步骤中得到的更新后的指标累计值以替代所述指标统计步骤中得到的所述时间级别的指标累计值。
13、可选地，进一步包括：
14、指标监控步骤，将所述指标累计值或者所述更新后的指标累计值与预先设定的第一阈值进行比较，并且在超出所述第一阈值的情况下触发告警。
15、可选地，进一步包括：
16、指标监控步骤，将预先设定的规定时间段中的所述指标累计值或者所述更新后的指标累计值进行累计得到汇总指标统计值，并且将所述汇总指标统计值与预先设定的第二阈值进行比较，并且在超出所述第二阈值的情况下触发告警。
17、可选地，在所述数据抽取步骤，通过从业务数据库增量读取二进制日志文件从而实时得到所述流水数据。
18、可选地，在所述数据预处理步骤中，所述预处理包括对于所述流水数据按照操作标识进行筛选以筛选出成功状态且符合指标统计类别的流水数据。
19、可选地，所述指标统计步骤中包括：
20、对于所述预处理后的流水数据按照活动种类进行时间级别的切分分组；
21、对于切分分组后的流水数据划分滑动窗口；
22、在所述滑动窗口触发时，将根据活动种类以及按时间级别对于流水数据分别进行统计，得到不同活动种类的时间级别的当前窗口的指标统计值，将该当前窗口的指标统计值与该当前窗口之前已累计的指标统计值相加得到所述各个活动种类的时间级别的指标累计值。
23、可选地，所述时间级别为天。
24、可选地，所述预处理后的流水数据中包括迟到一天的延迟流水数据。
25、本专利技术一方面的数据实时处理系统，包括：
26、数据抽取单元，用于从业务数据库直接抽取流水数据；
27、数据预处理单元，用于对于所述数据抽取单元抽取的流水数据进行预处理并且输出预处理后的流水数据；以及
28、指标统计单元，用于对于所述预处理后的流水数据按照活动种类和时间级别进行切分分组，对于切分分组后的流水数据分别进行指标值统计，通过滑动窗口计算各个活动种类的时间级别的累计指标统计值。
29、可选地，进一步包括：
30、指标存储单元，用于对于所述指标统计单元中得到的所述时间级别的指标累计值分别存储不同天的指标累计值。
31、可选地，进一步包括：
32、数据备份单元，用于备份所述数据预处理单元输出的所述预处理后的流水数据并得到备份数据；以及
33、指标回放单元，用于从所述备份数据中提取指定回放时间段的备份数据，统计所述指定回放时间段的备份数据的时间级别的指标统计值，得到更新后的时间级别的累计指标统计值。
34、可选地，在所述指标存储单元中，存储所述指标回放单元中得到的更新后的累计指标统计值以替代所述指标统计单元中得到的所述时间级别的累计指标统计值。
35、可选地，进一步包括：
36、指标监控单元，用于将所述指标累计值或者所述更新后的累计指标统计值与预先设定的第一阈值进行比较，并且在超出所述第一阈值的情况下触发告警。
37、可选地，进一步包括：
38、指标监控单元，用于累计预先设定的规定时间段中的所述指标累计值或者所述更新后的累计指标统计值得到汇总指标统计值，并且将所述汇总指标统计值与预先设定的第二阈值进行比较，并且在超出所述第二阈值的情况下触发告警。
39、可选地，在所述数据抽取单元中，通过从业务数据库增量读取二进制日志文件从而实时得到所述流水数据。
40、可选地，在所述数据预处理单元中，所述预处理包括对于所述流水数据按照操作标识进行筛选以筛选出成功状态且符合指标统计类别的流水数据。
41、可选地，所述指标统计单元执行以下动作：
42、对于所述预处理后的流水数据按照活动种类进行时间级别的切分分组；
43、对于切分分组后的流水数据划分滑动窗口；
44、在所述滑动窗口触发时，将根据活动种类以及按时间级别对于流水数据分别进行统计，得到不同活动种类的时间级别的当前窗口的指标统计值，将该当前窗口的指标统计值与该当前窗本文档来自技高网...
【技术保护点】
1.一种数据实时处理方法，其特征在于，包括：
2.如权利要求1所述的数据实时处理方法，其特征在于，进一步包括：
3.如权利要求2所述的数据实时处理方法，其特征在于，进一步包括：
4.如权利要求3所述的数据实时处理方法，其特征在于，
5.如权利要求4所述的数据实时处理方法，其特征在于，进一步包括：
6.如权利要求4所述的数据实时处理方法，其特征在于，进一步包括：
7.如权利要求1所述的数据实时处理方法，其特征在于，
8.如权利要求1所述的数据实时处理方法，其特征在于，
9.如权利要求1所述的数据实时处理方法，其特征在于，所述指标统计步骤中包括：
10.如权利要求1～8任意一项所述的数据实时处理方法，其特征在于，
11.如权利要求9所述的数据实时处理方法，其特征在于，所述预处理后的流水数据中包括迟到一天的延迟流水数据。
12.一种数据实时处理系统，其特征在于，包括：
13.如权利要求12所述的数据实时处理系统，其特征在于，进一步包括：
...【技术特征摘要】
1.一种数据实时处理方法，其特征在于，包括：
2.如权利要求1所述的数据实时处理方法，其特征在于，进一步包括：
3.如权利要求2所述的数据实时处理方法，其特征在于，进一步包括：
4.如权利要求3所述的数据实时处理方法，其特征在于，
5.如权利要求4所述的数据实时处理方法，其特征在于，进一步包括：
6.如权利要求4所述的数据实时处理方法，其特征在于，进一步包括：
7.如权利要求1所述的数据实时处理方法，其特征在于，
8.如权利要求1所述的数据实时处理方法，其特征在于，
9.如权利要求1所述的数据实时处理方法，其特征在于，所述指标统计步骤中包括：
10.如权利要求1～8任意一项所述的数据实时处理方法，其特征在于，
11.如权利要求9所述的数据实时处理方法，其特征在于，所述预处理后的流水数据中包括迟到一天的延迟流水数据。
12.一种数据实时处理系统，其特征在于，包括：
13.如权利要求12所述的数据实时处理系统，其特征在于...
【专利技术属性】
技术研发人员：邵广辉，马永松，李代立，王炫召，赵帮奎，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。