【技术实现步骤摘要】
本专利技术涉及数据处理与优化，尤其涉及一种数仓服务优化方法、装置、设备及存储介质。
技术介绍
1、数据仓库系统在现代企业信息管理中发挥着重要作用。按照数据流入流出的过程，典型的数据仓库架构通常分为三层：源数据层(ods)、数据仓库层(dw)和数据应用层(da)。
2、源数据层(ods)是数据仓库的输入端，负责收集和整合来自多个数据源的数据。ods的主要任务是提供原始数据的临时存储和初步清洗。这一层的设计旨在确保数据仓库接收到的原始数据是最新的、结构化的，便于后续的处理与分析。
3、数据仓库层(dw)负责对ods层的数据进行深入清洗、加工和转换。经过dw层处理的数据是经过校验的、统一格式的高质量数据，这些数据是企业在做出重要业务决策时的依据。dw层的关键功能是确保数据的一致性和准确性，为数据应用层提供可靠的基础数据。
4、数据应用层(da)是数据仓库的输出端，面向特定业务需求进行数据的提取、过滤和应用。da层的输出通常用于生成报表、数据分析或其他业务应用。这个层次的设计目标是根据不同的业务需求对数据进行细化处理，以支持多样化的应用场景。
5、在离线数据仓库系统中，虽然不需要即时响应，但必须在规定的时间内完成数据处理任务，以支持后续的任务链。例如，在投资管理系统中的监管报送场景下，系统必须在特定时间点前完成上游数据的处理，并生成相应的报表，以供监管系统获取和报送。
6、当上游数据发生变动时，尤其是在处理一个季度或更长时间的数据时，系统需要对整个时间段的数据进行回溯和重新处理
技术实现思路
1、本专利技术的主要目的在于提供一种数仓服务优化方法、装置、设备及存储介质，旨在解决现有技术中数据仓库服务和数据应用服务的紧耦合导致在处理大规模数据任务时效率低下的技术问题。
2、为实现上述目的，本专利技术提供一种数仓服务优化方法，所述数仓服务优化方法包括以下步骤：
3、将数仓服务拆分为数据仓库服务和数据应用服务，构建任务驱动机制，所述任务驱动机制用于实现数据仓库服务和数据应用服务之间的解耦；
4、通过数据仓库服务处理预设时间周期的数据任务，所述预设时间周期包含多个时间段，当处理完某一时间段的数据任务后，将处理后得到的当前时间段数据结果存储至数据库，并将当前时间段的数据任务完成信息发送至所述任务驱动机制；
5、通过所述数据应用服务监听所述任务驱动机制，当监测到所述数据仓库服务已经完成当前时间段的数据任务时，通过所述数据应用服务对所述当前时间段数据结果进行处理，得到数仓服务处理结果。
6、可选地，在并将当前时间段的数据任务完成信息发送至所述任务驱动机制之后，还包括：
7、判断所述当前时间段的数据任务是否为所述预设时间周期中的最后一个时间段的数据任务；
8、若是，结束所述数据仓库服务的处理任务；
9、若否，通过所述数据仓库服务继续处理下一个时间段的数据任务，直到所述预设时间周期的数据任务被全部处理。
10、可选地，通过数据仓库服务处理预设时间周期的数据任务，包括：
11、所述数据仓库服务包括多个数据仓库子服务，确定每个数据仓库子服务的负载情况；
12、根据每个数据仓库子服务的负载情况对所述预设时间周期的数据任务进行划分，得到与数据仓库子服务数量相同的子数据任务；
13、将每个子数据任务分配给对应负载情况的数据仓库子服务，每个数据仓库子服务独立并行地处理分配到的子数据任务。
14、可选地，将处理后得到的当前时间段数据结果存储至数据库，包括：
15、对所述当前时间段数据结果进行分块处理，将得到的每个数据块通过压缩算法压缩，得到压缩后的数据块，将所述压缩后的数据块存储至所述数据库。
16、可选地，在通过所述数据应用服务对所述当前时间段数据结果进行处理之前，还包括：
17、通过所述任务驱动机制生成任务事件，通过所述数据应用服务接收所述任务事件，所述任务事件包括对当前时间段数据结果进行处理。
18、可选地，通过所述任务驱动机制生成任务事件，包括：
19、定义任务标识和任务触发条件，所述任务触发条件包括数据仓库服务完成当前时间段的数据任务；
20、当所述任务触发条件满足时，所述任务驱动机制自动生成所述任务事件，所述任务事件包括所述任务标识和任务类型，供所述数据应用服务监听、接收和处理。
21、可选地，在构建任务驱动机制之后，还包括：
22、所述任务驱动机制记录每个数据任务的详细执行日志，当数据任务在执行过程中出现异常状态时，所述任务驱动机制生成错误日志并按照预订策略处理所述异常状态，所述错误日志供系统管理员查看。
23、进一步地，为实现上述目的，本专利技术还提供一种数仓服务优化装置，所述数仓服务优化装置包括：
24、任务协调与解耦模块，将数仓服务拆分为数据仓库服务和数据应用服务，构建任务驱动机制，所述任务驱动机制用于实现数据仓库服务和数据应用服务之间的解耦；
25、数据处理与存储模块，通过数据仓库服务处理预设时间周期的数据任务，所述预设时间周期包含多个时间段，当处理完某一时间段的数据任务后，将处理后得到的当前时间段数据结果存储至数据库，并将当前时间段的数据任务完成信息发送至所述任务驱动机制；
26、数据应用与执行模块，通过所述数据应用服务监听所述任务驱动机制，当监测到所述数据仓库服务已经完成当前时间段的数据任务时，通过所述数据应用服务对所述当前时间段数据结果进行处理，得到数仓服务处理结果。
27、进一步地，为实现上述目的，本专利技术还提供一种数仓服务优化设备，所述数仓服务优化设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的数仓服务优化程序，所述数仓服务优化程序被所述处理器执行时实现如上述所述的数仓服务优化方法的步骤。
28、进一步地，为实现上述目的，本专利技术还提供一种计算机存储介质，所述存储介质上存储有数仓服务优化程序，所述数仓服务优化程序被处理器执行时实现如上所述的数仓服务优化方法的步骤。
29、本专利技术涉及一种数仓服务优化方法，通过将数仓服务划分为数据仓库服务(dw)和数据应用服务(da)两个独立模块，并引入任务驱动机制，实现两者之间的解耦。数据仓库服务在处理预设时间周期内的数据任务时，完成后会将处理结果存储到数据库中，并通过任务驱动机制传递任务完成信息。数据应用服务通过监听任务驱动机制，在收到任务完成信息后，对存储本文档来自技高网...
【技术保护点】
1.一种数仓服务优化方法，其特征在于，包括以下步骤：
2.如权利要求1所述的数仓服务优化方法，其特征在于，在并将当前时间段的数据任务完成信息发送至所述任务驱动机制之后，还包括：
3.如权利要求1所述的数仓服务优化方法，其特征在于，通过数据仓库服务处理预设时间周期的数据任务，包括：
4.如权利要求1所述的数仓服务优化方法，其特征在于，将处理后得到的当前时间段数据结果存储至数据库，包括：
5.如权利要求1所述的数仓服务优化方法，其特征在于，在通过所述数据应用服务对所述当前时间段数据结果进行处理之前，还包括：
6.如权利要求5所述的数仓服务优化方法，其特征在于，通过所述任务驱动机制生成任务事件，包括：
7.如权利要求1中所述的数仓服务优化方法，其特征在于，在构建任务驱动机制之后，还包括：
8.一种数仓服务优化装置，其特征在于，所述数仓服务优化装置包括：
9.一种数仓服务优化设备，其特征在于，所述数仓服务优化设备包括存储器、处理器以及存储在所述存储器上并可以在所述处理器上运行的数仓服务优化程序
10.一种计算机存储介质，其特征在于，所述存储介质上存储有数仓服务优化程序，所述数仓服务优化程序被处理器执行时实现如权利要求1-7中任一项所述的数仓服务优化方法的步骤。
...【技术特征摘要】
1.一种数仓服务优化方法，其特征在于，包括以下步骤：
2.如权利要求1所述的数仓服务优化方法，其特征在于，在并将当前时间段的数据任务完成信息发送至所述任务驱动机制之后，还包括：
3.如权利要求1所述的数仓服务优化方法，其特征在于，通过数据仓库服务处理预设时间周期的数据任务，包括：
4.如权利要求1所述的数仓服务优化方法，其特征在于，将处理后得到的当前时间段数据结果存储至数据库，包括：
5.如权利要求1所述的数仓服务优化方法，其特征在于，在通过所述数据应用服务对所述当前时间段数据结果进行处理之前，还包括：
6.如权利要求5所述的数仓服务优化方法，其特征在于，通过所述任务驱动...
【专利技术属性】
技术研发人员：朱文逸，吴燕平，汤慧，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。