数据恢复方法、装置、计算机设备及可读存储介质制造方法及图纸

本申请涉及数据处理的技术领域，公开一种数据恢复方法、装置、设备及计算机可读存储介质，该方法包括：若检测到当前应用程序停止运行，获取所述应用程序的停止时刻；访问预置Spark Streaming对应的第一预置数据库和第二预置数据库，基于所述第一预置数据库和所述第二预置数据库，确定与所述停止时刻关联的目标明细数据偏移量；基于所述目标明细数据偏移量，重新获取所述目标明细数据偏移量对应的统计类数据，实现了准确追踪丢失的的明细数据偏移量、明细数据和统计类数据，在应用程序处于离线状态时，不仅恢复统计类数据，也保证了统计类数据和明细类数据的准确性和一致性，提高了故障后解决问题的效率。

【技术实现步骤摘要】
数据恢复方法、装置、计算机设备及可读存储介质
本申请涉及数据处理的
，尤其涉及一种数据恢复方法、装置、计算机设备及计算机可读存储介质。
技术介绍
物联网技术飞速发展，对数据处理的实时性、稳定性、准确性要求越来越高，目前采用的SparkStreaming(数据流式计算框架)结合Kafka(分布式信息系统)是一种比较流行的微批处理实时架构，基于保证数据的准确性和应用系统的稳定性，一般会采用Direct方式(连接到kafka节点的一种服务)获取Kafka中明细数据偏移量(offset)。但采用Direct方式在常规应用场景下即使出现故障，如，应用程序停止运行时，SparkStreaming正在消费offset对应的明细数据，在获取到明细数据对应的统计类数据时，因应用程序停止运行，不能对统计类数据进行存储，从而造成统计类数据的丢失，而SparkStreaming已记录为丢失的统计类数据的明细数据偏移量，不再对该明细数据偏移量对应的明细数据进行消费。导致应用程序停止运行后，处于离线状态下不能同时确保统计类数据和明细数据的准确性和一致性。
技术实现思路
本申请的主要目的在于提供一种数据恢复方法、装置、服务器及计算机可读存储介质，旨在解决应用程序停止运行时，处于离线状态下不能同时确保统计类数据和明细数据的准确性和一致性的技术问题。第一方面，本申请提供一种数据恢复方法，所述数据恢复方法包括以下步骤：若检测到当前应用程序停止运行，获取所述应用程序的停止时刻；访问预置SparkStreaming对应的第一预置数据库和第二预置数据库，基于所述第一预置数据库和所述第二预置数据库，确定与所述停止时刻关联的目标明细数据偏移量；基于所述目标明细数据偏移量，重新获取所述目标明细数据偏移量对应的统计类数据。第二方面，本申请还提供一种数据恢复装置，所述数据恢复装置包括：获取模块，用于若检测到当前应用程序停止运行，获取所述应用程序的停止时刻；确定模块，用于访问预置SparkStreaming对应的第一预置数据库和第二预置数据库，基于所述第一预置数据库和所述第二预置数据库，确定与所述停止时刻关联的目标明细数据偏移量；重新获取及存储模块，用于基于所述目标明细数据偏移量，重新获取所述目标明细数据偏移量对应的统计类数据。第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上专利技术所述的数据恢复方法的步骤。第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上专利技术所述的数据恢复方法的步骤。本申请提供一种数据恢复方法、装置、设备及计算机可读存储介质，通过若检测到当前应用程序停止运行，获取所述应用程序的停止时刻；访问预置SparkStreaming对应的第一预置数据库和第二预置数据库，基于所述第一预置数据库和所述第二预置数据库，确定与所述停止时刻关联的目标明细数据偏移量；基于所述目标明细数据偏移量，重新获取所述目标明细数据偏移量对应的统计类数据，实现了准确追踪丢失的的明细数据偏移量、明细数据和统计类数据，在应用程序处于离线状态时，不仅恢复统计类数据，也保证了统计类数据和明细类数据的准确性和一致性，提高了故障后解决问题的效率。附图说明为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种数据恢复方法的流程示意图；图2为图1中的数据恢复方法的子步骤流程示意图；图3为图1中的数据恢复方法的子步骤流程示意图；图4为图1中的数据恢复方法的子步骤流程示意图；图5为本申请实施例提供的另一种数据恢复方法的流程示意图；图6为本申请实施例提供的一种数据恢复装置的示意性框图；图7为本申请实施例提供的另一种数据恢复装置的示意性框图；图8为本申请一实施例涉及的计算机设备的结构示意框图。本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。本申请实施例提供一种数据恢复方法、装置、计算机设备及计算机可读存储介质。其中，该数据恢复方法可应用于终端设备中，该终端设备可以手机、平板电脑、笔记本电脑、台式电脑等计算机设备。下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。请参照图1，图1为本申请的实施例提供的一种数据恢复方法的流程示意图。如图1所示，该数据恢复方法包括步骤S100至步骤S300。步骤S100、若检测到当前应用程序停止运行，获取应用程序的停止时刻；终端实时检测当前运行的应用程序，在检测到应用程序停止运行时，记录应用程序的停止时刻，停止时刻为应用程序停止运行时的记录的时刻。示范例为，当终端在检测到应用程序停止运行时，终端通过查看当前的时间系统，获取当前时间系统的时刻，将当前的时间系统记录的时刻作为应用程序停止运行的时刻，例如，当前时间系统记录的时刻为8:00时，确定应用程序的停止运行的时刻为8：00。在一实施例中，具体地，参照图2，步骤S100包括：子步骤S101至子步骤S102。子步骤S101，若检测到当前应用程序对应的进程停止运行，则获取应用程序的日志记录。终端实时检测当前正在运行的应用程序，在检测到应用程序对应的进程停止运行时，即确定该应用程序停止运行，获取该应用程序对应的日志记录。进程是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础，是一个活跃着的程序，即：已经被放入了系统调度队列当中了，占有了一定的系统资源的程序。终端通过检测应用程序的进程，当进程停止运行时，确定应用程序也停止运行。子步骤S102、基于日志记录，读取日志记录中进程的停止时刻，并将进程的停止时刻作为应用程序的停止时刻。在获取到应用程序的日志记录，日志记录中记录有该应用程序开始运行的时刻，停止运行的时刻，以及调用的资源信息等。终端通过获取到的日志记录，读取日志本文档来自技高网...

【技术保护点】
1.一种数据恢复方法，其特征在于，包括：/n若检测到当前应用程序停止运行，获取所述应用程序的停止时刻；/n访问预置Spark Streaming对应的第一预置数据库和第二预置数据库，基于所述第一预置数据库和所述第二预置数据库，确定与所述停止时刻关联的目标明细数据偏移量；/n基于所述目标明细数据偏移量，重新获取所述目标明细数据偏移量对应的统计类数据。/n

【技术特征摘要】
1.一种数据恢复方法，其特征在于，包括：
若检测到当前应用程序停止运行，获取所述应用程序的停止时刻；
访问预置SparkStreaming对应的第一预置数据库和第二预置数据库，基于所述第一预置数据库和所述第二预置数据库，确定与所述停止时刻关联的目标明细数据偏移量；
基于所述目标明细数据偏移量，重新获取所述目标明细数据偏移量对应的统计类数据。


2.如权利要求1所述的数据恢复方法，其特征在于，所述若检测到当前应用程序停止运行之前，还包括：
确定预置SparkStreaming获取明细数据偏移量的链路，通过预置接口程序在所述链路上新增一个接口，所述接口用以连接第二预置数据库；
若检测到所述预置SparkStreaming获取明细数据偏移量，则基于所述第二预置数据库记录所述预置SparkStreaming获取的所述明细数据偏移量以及所述明细数据偏移量的获取时刻。


3.如权利要求1所述的数据恢复方法，其特征在于，所述若检测到当前应用程序停止运行，获取所述应用程序的停止时刻，包括：
若检测到当前应用程序对应的进程停止运行，则获取所述应用程序的日志记录；
基于所述日志记录，读取所述日志记录中所述进程的停止时刻，并将所述进程的停止时刻作为所述应用程序的停止时刻。


4.如权利要求1所述的数据恢复方法，其特征在于，所述基于所述第一预置数据库和所述第二预置数据库，确定与所述停止时刻关联的目标明细数据偏移量，包括：
获取所述第一预置数据库中的第一明细数据偏移量；
基于所述停止时刻，确定所述第二预置数据库中所述停止时刻对应的第二明细数据偏移量，其中所述第一明细数据偏移量与第二明细数据偏移量不相同；
基于所述第一明细数据偏移量，确定所述第二预置数据库中所述第一明细数据偏移量对应的获取时刻；
基于所述停止时刻和所述获取时刻，得到所述停止时刻和所述获取时刻之间的时间段；
基于所述时间段，确定所述第二预置数据库中所述时间段对应的目标明细数据偏移量，其中，所述目标明细数据偏移量包括所述第一明细数据偏移量和所述第二明细数据偏移量。


5.如权利要求4所述的数据恢复方法，其特征在于，所述基于所述停止时刻，确定所述...

【专利技术属性】
技术研发人员：黄新华，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东;44