【技术实现步骤摘要】
本专利技术涉及数据加工，具体地说，涉及一种多表复杂逻辑场景下实现数据增量更新的纯sql方法。
技术介绍
1、在大中型企业中，往往业务复杂，系统繁多，例如kpi等指标的源数据经常会来自多条业务线，甚至多个系统，这就需要实现多表、多维度复杂逻辑数据的组织加工，加工周期一般是当年。通常的方案都是存量加工方式，即从1月1日开始加工到当前时间，以便实时追踪全年业务进度情况。
2、现有存量加工技术方案存在一定的局限性，特别是在数据重复加工上问题突出。以短险系统一年2000多万保单记录为例：到了12月份，为了加工出当天最新的指标数据，需要将前面2000多万保单数据重新进行处理，导致加工周期长、耗费服务器资源高、后台数据库易堵塞等一系列问题。因此，有必要开发一种高效的加工方案解决上述问题，实现降本增效。
技术实现思路
1、本专利技术的内容是提供一种多表复杂逻辑场景下实现数据增量更新的纯sql方法，其能够克服现有技术的某种或某些缺陷。
2、根据本专利技术的多表复杂逻辑场景下实现数据增量更新的纯sql方法，其包括以下步骤：
3、一、设定增量更新基准定量参数；
4、二、创建增量更新缓冲池；
5、三、组织增量更新缓冲池数据；
6、四、回写增量更新基准定量参数；
7、五、确定增量更新数据加工范围；
8、六、整套数据组织加工逻辑。
9、作为优选，步骤一中，获取当前最新的基准定量参数，基准定量参数是实现增
10、作为优选，步骤二中，缓冲池用以存储增量更新索引数据，包括加工数据的主键信息字段以及加工逻辑中所必需的信息字段。
11、作为优选，步骤三中，基于基准定量参数，将加工逻辑所有单表中的增量数据检索出来，归并汇总后放入数据缓冲池。
12、作为优选，步骤四中，将最新的增量更新基准定量参数回写保存，以便下次增量更新时使用。
13、作为优选，步骤五中，通过更新缓冲池，确定出数据的增量加工范围。
14、作为优选，步骤六中，根据数据的增量加工范围，按原有的组织逻辑开展整套数据加工。
15、本专利技术的数据增量加工方法，对比存量加工方式具有以下优点：
16、1)解决了数据的重复加工问题，大幅提高特别是百万级以上数据加工效率。经实践，可以将加工周期(按分钟算)从百位级提效到十位级、乃至个位级；
17、2)有效节省加工资源，大幅降低服务器，以及后台数据库压力，不再担心数据库堵塞问题；
18、3)增量加工方式，基本不再有加工时间范围、加工数据基量大小的限制；
19、4)方案的兼容性好。只需在开端，新增实现增量数据缓冲池、并后续进行对接即可，原数据的加工逻辑及程序结构无需变动。
本文档来自技高网...【技术保护点】
1.多表复杂逻辑场景下实现数据增量更新的纯SQL方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的多表复杂逻辑场景下实现数据增量更新的纯SQL方法，其特征在于：步骤一中，获取当前最新的基准定量参数，基准定量参数是实现增量更新的关键，用以判断数据是否属于增量范围；基准定量参数包括唯一序号、时间或者组合参数，同时加入回溯机制，实现容错处理。
3.根据权利要求2所述的多表复杂逻辑场景下实现数据增量更新的纯SQL方法，其特征在于：步骤二中，缓冲池用以存储增量更新索引数据，包括加工数据的主键信息字段以及加工逻辑中所必需的信息字段。
4.根据权利要求3所述的多表复杂逻辑场景下实现数据增量更新的纯SQL方法，其特征在于：步骤三中，基于基准定量参数，将加工逻辑所有单表中的增量数据检索出来，归并汇总后放入数据缓冲池。
5.根据权利要求4所述的多表复杂逻辑场景下实现数据增量更新的纯SQL方法，其特征在于：步骤四中，将最新的增量更新基准定量参数回写保存，以便下次增量更新时使用。
6.根据权利要求5所述的多表复杂逻辑场景下实现数据增量更
7.根据权利要求6所述的多表复杂逻辑场景下实现数据增量更新的纯SQL方法，其特征在于：步骤六中，根据数据的增量加工范围，按原有的组织逻辑开展整套数据加工。
...【技术特征摘要】
1.多表复杂逻辑场景下实现数据增量更新的纯sql方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的多表复杂逻辑场景下实现数据增量更新的纯sql方法，其特征在于：步骤一中，获取当前最新的基准定量参数，基准定量参数是实现增量更新的关键，用以判断数据是否属于增量范围；基准定量参数包括唯一序号、时间或者组合参数，同时加入回溯机制，实现容错处理。
3.根据权利要求2所述的多表复杂逻辑场景下实现数据增量更新的纯sql方法，其特征在于：步骤二中，缓冲池用以存储增量更新索引数据，包括加工数据的主键信息字段以及加工逻辑中所必需的信息字段。
4.根据权利要求3所述的多表复杂逻辑场景下实现数据...
【专利技术属性】
技术研发人员：郭强，
申请(专利权)人：中国人寿保险股份有限公司四川省分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。