System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据处理方法和装置制造方法及图纸_技高网

一种数据处理方法和装置制造方法及图纸

技术编号:41742302 阅读:5 留言:0更新日期:2024-06-19 13:02
本发明专利技术公开了一种数据处理方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括获取数据表和新数据,标记新数据为有效,记录所述数据至数据表;判断所述数据对应的业务标识是否大于游标值;若业务标识大于游标值,则更新游标值为所述业务标识,累加数据表中所有有效的数据;若业务标识不大于游标值,则判断是否冲正数据表中的所述业务标识对应的有效的数据;响应于不冲正所述业务标识对应的有效数据,累加数据表中标记为有效的全部数据;或响应于冲正所述业务标识对应的有效数据,累加冲正后的业务标识对应的有效的数据和其他业务标识对应的有效的数据。从而,本发明专利技术的实施方式能够解决现有无法准确、高效地识别重置后数据的技术问题。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种数据处理方法和装置


技术介绍

1、目前,将数据有序存入数据表并计算累额的应用场景十分常见,为用户提供了方便、快捷的数据处理服务,可以极大地节约物理存储资源,降低用户的数据存储成本。

2、在实现本专利技术过程中,专利技术人发现现有技术中至少存在如下问题:

3、用户在享受便捷、高效的即时数据处理功能时,获取数据有误和数据处理有误的情况普遍存在,尤其是在数据量大、高并发的场景下,如果需要根据数据表某节点重新处理部分相关数据,则可能反而会导致更加严重的数据紊乱。另外,虽然现有数据表都提供了基础的数据重置处理方法,但是所述的方法只能对指定范围内数据进行一次数据冲正,可处理范围小;若数据表多处数据记录有误,则需用户进行多次相同操作,处理效率低。


技术实现思路

1、有鉴于此,本专利技术实施例提供一种数据处理方法和装置,能够解决现有无法准确、高效地识别重置后数据的技术问题。

2、为实现上述目的,根据本专利技术实施例的一个方面,提供了一种数据处理方法,包括获取数据表和新数据,标记新数据状态为有效,记录所述有效的数据至数据表;判断所述有效的数据对应的业务标识是否大于游标值;若所述业务标识大于所述游标值,则将所述游标值更新为所述业务标识,累加数据表中所有有效的数据;若所述业务标识不大于所述游标值,则判断是否对所述数据表中的所述业务标识对应的有效的数据进行冲正;响应于不冲正所述业务标识对应的有效数据,累加所述数据表中标记为有效的全部数据;或者响应于冲正所述业务标识对应的有效数据,累加冲正后所述业务标识对应的有效的数据和其他业务标识对应的有效的数据。

3、可选地,获取数据表和新数据,包括:

4、获取新数据,根据所述新数据的业务类型标签中的上下游业务属性,生成对应的业务标识,其中上游业务的业务标识数值小于对应的下游业务的业务标识数值;对具有相同的业务标识的数据生成该业务标识对应的子数据表;将所有子数据表按照其业务标识的顺序按列合并生成数据表,并初始化所述数据表的游标值。

5、可选地,包括:

6、响应于对游标值的重置,获取重置后的游标值,替换所述数据表中的游标值;根据所述数据表筛选得到业务标识大于替换后游标值的且标记为有效的数据,将所述数据的标记更新为无效,逻辑删除更新为无效的数据;累加数据表中所有标记为有效的数据。

7、可选地,根据数据表判断是否对所述业务标识对应的有效的数据进行冲正,包括:

8、筛选得到所述数据表中所述业务标识对应的数据,确定除所述新数据外最近一次记录的数据标记为有效,则对所述业务标识对应的有效的数据进行冲正。

9、可选地,对所述业务标识对应的有效的数据进行冲正,包括:

10、获取所述数据表中所述业务标识对应的有效的数据,筛选得到所述有效的数据中除所述新数据外最近一次记录的有效的数据作为被冲正数据,将所述被冲正数据的标记更新为无效,逻辑删除更新为无效的被冲正数据。

11、可选地,包括:

12、接收到锁定数据请求,启动锁定程序,对当前所有业务标识对应的有效的数据进行上锁,并更新游标值为初始值。

13、可选地,包括:

14、获取所述数据表中具有同一业务标识且标记为有效的数据的数量,确定所述数量大于所述业务标识对应的预设数量阈值,则生成数据表有误提示信息并输出。

15、另外,本专利技术还提供了一种数据处理装置,包括获取模块,用于获取数据表和新数据,标记新数据状态为有效,记录所述有效的数据至数据表;识别模块,用于判断所述有效的数据对应的业务标识是否大于游标值,若所述业务标识大于所述游标值,则将所述游标值更新为所述业务标识,累加数据表中所有有效的数据;若所述业务标识不大于所述游标值,则判断是否对所述数据表中的所述业务标识对应的有效的数据进行冲正;响应于不冲正所述业务标识对应的有效数据,累加所述数据表中标记为有效的全部数据;或者响应于冲正所述业务标识对应的有效数据,累加冲正后所述业务标识对应的有效的数据和其他业务标识对应的有效的数据。

16、上述专利技术中的一个实施例具有如下优点或有益效果:本专利技术通过根据数据的业务类型标签包括的时间属性,即该数据的业务类型对应的上下游关系,对数据的业务类型标签进行排序,并将排序结果作为该业务类型标签对应的业务标识,并对每个业务标识对应的数据均生成分数据表,按照业务标识的大小顺序将分数据表按列合并生成数据表,并将数据表游标值初始化为零,实现了在数据表中根据数据的上下游业务关系对数据进行排布,达到了在数据表中有序地获取、记录数据的效果,为后续定位数据记录有误的时间节点,并逻辑删除有误数据以及重新获取正确数据的操作带来便利;并且,通过数据表中随新数据业务标识而进行的游标值的更新与数据冲正的判定,确保了在接收数据锁定请求之前的范围内,在数据表中对每个业务标识仅累加一个未上锁的有效的数据,且所述有效的数据为每个业务标识在数据表中最新一次获取的数据,确保了有效的数据的时效性,达到了在用户仅下达一次重置数据表指令后,数据表自动进行多次数据冲正的效果,很大程度提高了数据表的处理效率;同时,通过接收到数据锁定请求,对数据表当前所有业务标识对应的有效的数据进行上锁,起到了对数据表中正确的数据的保护效果,将上锁数据计入数据表累加结果,以保证上锁的数据不被新数据冲正,并更新游标值为初始值零,因此在数据表中需另起新一行以记录后续接收的新数据,实现了在数据表中每个业务标识对应多个有效的数据的效果,扩展了数据表的应用范围,包括数据冲正处理的功能和常规存储累加数据的功能,增加用户使用数据表的应用场景;另外,本专利技术通过获取数据表中具有同一业务标识且标记为有效的数据的数量,并与所述业务标识对应的预设数量阈值进行比较,达到了实时监控数据表所记录数据量正确与否的效果,若否则生成数据表有误提示信息并及时输出,避免了在数据表已经完成全部数据记录后判定数据有误的情况,实现了对记录有误的数据表及时止损的效果,从而提高了工作效率,并且提高了用户体验。

17、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,获取数据表和新数据,包括:

3.根据权利要求1所述的方法,其特征在于,包括:

4.根据权利要求1所述的方法,其特征在于,根据所述数据表判断是否对所述业务标识对应的有效的数据进行冲正,包括:

5.根据权利要求1所述的方法,其特征在于,对所述业务标识对应的有效的数据进行冲正,包括:

6.根据权利要求5所述的方法,其特征在于,包括:

7.根据权利要求1所述的方法,其特征在于,还包括:

8.一种页面显示处理装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,获取数据表和新数据,包括:

3.根据权利要求1所述的方法,其特征在于,包括:

4.根据权利要求1所述的方法,其特征在于,根据所述数据表判断是否对所述业务标识对应的有效的数据进行冲正,包括:

5.根据权利要求1所述的方法,其特征在于,对所述业务标识对应的有效的...

【专利技术属性】
技术研发人员:张学君晏银喜
申请(专利权)人:京东科技信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1