【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种湖仓元数据服务日志生成方法、湖仓元数据服务日志查询方法、装置、设备、介质。
技术介绍
1、在一些应用场景(比如，大数据场景)下，对于元数据服务系统(比如，类似于hivemetastore等元数据服务系统)以及接入该元数据服务系统的数据引擎(比如，类似于presto、spark等数据引擎)来说，该元数据服务系统可以向该数据引擎提供一些接口，以使该数据引擎可以通过调用接口的方式来访问该元数据服务系统。比如，该数据引擎可以借助某个接口向该元数据服务系统发送一个请求(比如，元数据读取请求等)，以使该元数据服务系统能够处理该请求。
2、然而，因数据引擎中的日志与元数据服务系统中的日志分别属于不同系统，导致日志割裂，难以串联，如此对一些日志需求任务(比如，排障任务、性能调优任务、日志查询任务等任务)的执行造成了影响。
技术实现思路
1、为了解决上述技术问题，本申请提供了一种湖仓元数据服务日志生成方法、湖仓元数据服务日志查询方法、装置、设备、介质。
2、为了实现上述目的，本申请提供的技术方案如下：
3、本申请提供一种湖仓元数据服务日志生成方法，所述方法应用于元数据服务端，所述方法包括：
4、接收数据引擎发送的数据处理请求；
5、依据所述数据处理请求携带的请求标识信息确定第一请求标识信息，所述第一请求标识信息用于标识所述数据处理请求；若所述数据引擎提供日志标识，而且所述数据引擎针对所述数据处理请求生成请求追踪
6、执行所述数据处理请求对应的请求处理逻辑，并依据所述第一请求标识信息生成所述请求处理逻辑对应的日志，所述日志携带有所述第一请求标识信息。
7、在一种可能的实施方式下，所述日志标识是由所述数据引擎中软件开发工具包sdk依据所述数据引擎的目标参数所确定的；
8、若所述数据引擎支持日志标识配置，则所述目标参数为预先针对所述数据引擎配置的日志标识；
9、若所述数据引擎不支持日志标识配置，则所述目标参数为所述任务标识，所述任务标识用于标识触发所述数据处理请求的请求生成逻辑的数据分析任务，所述数据分析任务是由所述数据引擎响应于用户操作所创建的。
10、在一种可能的实施方式下，所述请求追踪标识用于唯一标识所述数据处理请求；
11、和/或，
12、所述请求追踪标识是由所述数据引擎中sdk生成的。
13、在一种可能的实施方式下，所述请求标识信息位于所述数据处理请求中的预设字段内；
14、和/或，
15、所述请求标识信息是由所述数据引擎中sdk向所述数据处理请求中的预设字段内所写入的。
16、在一种可能的实施方式下，所述方法还包括：
17、若所述数据处理请求未携带请求标识信息，则依据所述数据处理请求的至少一个请求参数信息，确定第一请求标识信息；所述至少一个请求参数信息包括所述数据引擎的引擎描述信息以及所述数据处理请求对应的接口描述信息中的至少一个。
18、在一种可能的实施方式下，所述第一请求标识信息包括所述至少一个请求参数信息以及由所述元数据服务端针对所述数据处理请求所生成的请求追踪标识中的至少一项；
19、和/或，
20、所述若所述数据处理请求未携带请求标识信息，则依据所述数据处理请求的至少一个请求参数信息，确定第一请求标识信息，包括：
21、若所述数据引擎不提供日志标识，而且所述数据引擎不针对所述数据处理请求生成请求追踪标识，则依据所述数据处理请求的至少一个请求参数信息，确定第一请求标识信息。
22、在一种可能的实施方式下，所述引擎描述信息包括所述数据引擎的引擎标识和所述数据引擎的用户标识中的至少一个；
23、和/或，
24、所述接口描述信息包括所述数据处理请求对应的接口标识和所述数据处理请求对应的接口参数中的至少一个。
25、在一种可能的实施方式下，所述元数据服务端为元数据服务系统。
26、在一种可能的实施方式下，所述元数据服务端包括元数据服务网关和至少一个元数据服务系统；
27、所述依据所述数据处理请求携带的请求标识信息确定第一请求标识信息，包括：
28、所述元数据服务网关依据所述数据处理请求携带的请求标识信息确定第一请求标识信息；
29、所述执行所述数据处理请求对应的请求处理逻辑，并依据所述第一请求标识信息生成所述请求处理逻辑对应的日志，包括：
30、所述元数据服务网关依据所述数据处理请求生成携带有所述第一请求标识信息的数据处理消息，所述元数据服务网关将所述数据处理消息发送给所述至少一个元数据服务系统中的目标系统，以及所述元数据服务网关依据所述第一请求标识信息生成所述数据处理消息对应的元数据服务网关日志；所述元数据服务网关日志携带有所述第一请求标识信息；
31、所述目标系统执行所述数据处理消息对应的消息处理逻辑，以及所述目标系统依据所述数据处理消息携带的第一请求标识信息生成所述消息处理逻辑对应的系统日志，所述系统日志携带有所述第一请求标识信息。
32、在一种可能的实施方式下，所述方法还包括：
33、在执行完所述数据处理消息对应的消息处理逻辑之后，所述目标系统对所述目标系统中记录的所述第一请求标识信息进行清除处理，以及所述目标系统向所述元数据服务网关发送第一反馈消息；
34、在所述元数据服务网关接收到所述第一反馈消息之后，所述元数据服务网关对所述元数据服务网关中记录的所述第一请求标识信息进行清除处理，以及所述元数据服务网关向所述数据引擎发送第二反馈消息；
35、在所述数据引擎接收到所述第二反馈消息之后，如果所述数据引擎中记录有所述第一请求标识信息对应的目标标识，则所述数据引擎对所述数据引擎中记录的目标标识进行清除处理。
36、在一种可能的实施方式下，若所述数据引擎支持日志标识配置，而且所述数据引擎中记录的第一请求标识信息包括日志标识和请求追踪标识，则所述目标标识为所述请求追踪标识。
37、在一种可能的实施方式下，若所述数据处理请求携带有所述第一请求标识信息，则所述数据引擎用于针对所述数据处理请求生成引擎日志，所述引擎日志携带有所述第一请求标识信息。
38、本申请提供了一种湖仓元数据服务日志查询方法，所述方法应用于元数据服务端，所述方法包括：
39、接收日志请求设备发送的日志查询请求，所述日志查询请求用于请求查询由数据引擎向所述元数据服务端发送的数据处理请求对应的日志；
40、将所述日志查询请求携带的所述数据处理请求对应的请求标识信息，确定为所述第二本文档来自技高网...
【技术保护点】
1.一种湖仓元数据服务日志生成方法，其特征在于，所述方法应用于元数据服务端，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述日志标识是由所述数据引擎中软件开发工具包SDK依据所述数据引擎的目标参数所确定的；
3.根据权利要求1任一项所述的方法，其特征在于，所述请求追踪标识用于唯一标识所述数据处理请求；
4.根据权利要求1所述的方法，其特征在于，所述请求标识信息位于所述数据处理请求中的预设字段内；
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述第一请求标识信息包括所述至少一个请求参数信息以及由所述元数据服务端针对所述数据处理请求所生成的请求追踪标识中的至少一项；
7.根据权利要求5所述的方法，其特征在于，所述引擎描述信息包括所述数据引擎的引擎标识和所述数据引擎的用户标识中的至少一个；
8.根据权利要求1所述的方法，其特征在于，所述元数据服务端为元数据服务系统。
9.根据权利要求1所述的方法，其特征在于，所述元数据服
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
11.根据权利要求10所述的方法，其特征在于，若所述数据引擎支持日志标识配置，而且所述数据引擎中记录的第一请求标识信息包括日志标识和请求追踪标识，则所述目标标识为所述请求追踪标识。
12.根据权利要求1所述的方法，其特征在于，若所述数据处理请求携带有所述第一请求标识信息，则所述数据引擎用于针对所述数据处理请求生成引擎日志，所述引擎日志携带有所述第一请求标识信息。
13.一种湖仓元数据服务日志查询方法，其特征在于，所述方法应用于元数据服务端，所述方法包括：
14.根据权利要求13所述的方法，其特征在于，所述方法还包括：
15.根据权利要求13所述的方法，其特征在于，所述日志请求设备用于将由所述元数据服务端反馈的所述日志查询结果、以及所述数据引擎中针对所述数据处理请求所记录的日志进行整合，得到整合后日志，所述整合后日志用于描述利用所述数据引擎和所述元数据服务端针对所述数据处理请求所执行的过程。
16.根据权利要求15所述的方法，其特征在于，若所述日志查询请求携带有所述数据处理请求对应的请求标识信息，则所述数据引擎中针对所述数据处理请求所记录的日志是指所述数据引擎的日志记录中存在的携带有所述请求标识信息的日志。
17.根据权利要求13-16任一项所述的方法，其特征在于，所述日志请求设备为所述数据引擎。
18.一种湖仓元数据服务日志生成装置，其特征在于，包括：
19.一种湖仓元数据服务日志查询装置，其特征在于，包括：
20.一种电子设备，其特征在于，所述设备包括：处理器和存储器；
21.一种计算机可读介质，其特征在于，所述计算机可读介质中存储有指令或计算机程序，当所述指令或计算机程序在设备上运行时，使得所述设备执行权利要求1-17任一项所述的方法。
...【技术特征摘要】
1.一种湖仓元数据服务日志生成方法，其特征在于，所述方法应用于元数据服务端，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述日志标识是由所述数据引擎中软件开发工具包sdk依据所述数据引擎的目标参数所确定的；
3.根据权利要求1任一项所述的方法，其特征在于，所述请求追踪标识用于唯一标识所述数据处理请求；
4.根据权利要求1所述的方法，其特征在于，所述请求标识信息位于所述数据处理请求中的预设字段内；
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述第一请求标识信息包括所述至少一个请求参数信息以及由所述元数据服务端针对所述数据处理请求所生成的请求追踪标识中的至少一项；
7.根据权利要求5所述的方法，其特征在于，所述引擎描述信息包括所述数据引擎的引擎标识和所述数据引擎的用户标识中的至少一个；
8.根据权利要求1所述的方法，其特征在于，所述元数据服务端为元数据服务系统。
9.根据权利要求1所述的方法，其特征在于，所述元数据服务端包括元数据服务网关和至少一个元数据服务系统；
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
11.根据权利要求10所述的方法，其特征在于，若所述数据引擎支持日志标识配置，而且所述数据引擎中记录的第一请求标识信息包括日志标识和请求追踪标识，则所述目标标识为所述请求追踪标识。
12.根据权利要求1所述的方法，其...
【专利技术属性】
技术研发人员：李蒙军，郭俊，孙科，徐庆，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。