本申请提供了一种数据流的处理方法及装置、处理器以及电子设备，通过在预设数据处理引擎的上游接收到数据流的情况下，确定数据流是否为目标数据流；在数据流为目标数据流的情况下，依据目标数据流，执行异步查询操作；判断异步查询操作是否执行成功，并在执行成功的情况下，将目标数据流发送至预设数据处理引擎的下游；在执行失败的情况下，控制目标数据流写入重放子引擎执行数据流重放操作，解决了现有技术中Flink开源流处理框架中的异步查询没有特定的执行逻辑，在异步查询失败后，没有对异常做相应处理，导致异步查询的执行效率低的技术问题，通过对数据流做了数据重放处理，进而达到提高异步查询准确率的技术效果。达到提高异步查询准确率的技术效果。达到提高异步查询准确率的技术效果。
【技术实现步骤摘要】
数据流的处理方法及装置、处理器以及电子设备
[0001]本申请涉及数据增强领域，具体而言，涉及一种数据流的处理方法及装置、处理器以及电子设备。
技术介绍
[0002]在实时数据处理实时数据流时，不可避免的要进行数据增强的数据加工。数据增强即从外部数据存储介质取出数据，并将需要的数据放入到原数据中。在上述场景下，Flink原生提供了发送异步方式查询请求的异步查询组件——AsyncDataStream。此组件实现了一个Future的等待队列，每当组件接收到一条数据，就会执行一个异步操作，并将这个异步操作放到Future中，当异步操作执行结束后，会将执行结果放入的Future中，组件就会从Future中拿到执行结果。
[0003]目前此异步查询组件中的异步查询需要开发者自己完成。这块的逻辑没有统一接口规范，对于团队开发来说，可能造成代码千人千面的问题。这会给项目的后期维护带来很大的麻烦。
[0004]同时，现有技术中的异步查询组件对应的异步请求的代码逻辑不可复用。不同的数据增强对象，没有统一的取数规则和数据处理规则。
[0005]在实时计算的场景下，外部数据极有可能会有同步不及时的情况，造成异步查询失败的问题。
[0006]最后，原生的组件中，没有统一的对异常做处理。
[0007]关于现有技术中存在的上述问题，还未提出有效的解决手段。
技术实现思路
[0008]本申请的主要目的在于提供一种数据流的处理方法及装置、处理器以及电子设备，以解决现有技术中Flink开源流处理框架中的异步查询没有特定的执行逻辑，在异步查询失败后，没有对异常做相应处理，导致异步查询的执行效率低的技术问题。
[0009]根据本专利技术实施例的一个方面，提供了一种数据流的处理方法，包括：在预设数据处理引擎的上游接收到数据流的情况下，确定数据流是否为目标数据流，其中，目标数据流为待执行异步查询操作的数据流；在数据流为目标数据流的情况下，依据目标数据流，执行异步查询操作；判断异步查询操作是否执行成功，并在执行成功的情况下，将目标数据流发送至预设数据处理引擎的下游；在执行失败的情况下，控制目标数据流写入重放子引擎执行数据流重放操作，其中，数据流重放操作为重新控制数据流执行异步查询操作的操作。
[0010]进一步地，在预设数据处理引擎的上游接收到数据流的情况下，确定数据流是否为目标数据流，包括：确定数据流中包括的预设关键字，其中，预设关键字设置在数据流的预设字符位置；依据预设关键字，查找与预设关键字对应的实例，并获取实例中定义的数据流包含的多个属性数据；解析数据流中包含的当前属性数据，并对比当前属性数据与多个属性数据，并确定数据流中是否缺失部分属性数据；在数据流缺失部分属性数据的情况下，
确定数据流为目标数据流；在数据流的当前属性数据与多个属性数据一致的情况下，确定数据流为非目标数据流。
[0011]进一步地，依据预设关键字，查找与预设关键字对应的实例，包括：获取多种数据流，并确定多种数据流对应的多个关键字，其中，每种类型的数据流与关键字一一对应；确定每种数据流包含的多个属性数据，以及多个属性数据所在的至少一个外部存储介质的链接；依据关键字、多个属性数据以及至少一个外部存储介质的链接，生成配置文件；通过JAVA反射的方式对配置文件进行实例化操作，生成数据流对应的实例；获得多种类型的数据流对应多个实例，保存多个实例至预设哈希图中。
[0012]进一步地，在数据流为目标数据流的情况下，依据目标数据流，执行异步查询操作，包括：确定数据流包含的预设关键字，并依据预设关键字，查找与预设关键字对应的实例，其中，预设关键字设置在数据流的预设字符位置；依据实例中定义的数据流包含的多个属性数据，确定数据流对应的缺失属性数据，其中，缺失属性数据为数据流中缺失的至少一个属性数据；依据实例，查找与缺失属性数据对应的外部存储介质的链接；依据外部存储介质的链接，从外部存储介质中获取缺失属性数据。
[0013]进一步地，判断异步查询操作是否执行成功，并在执行成功的情况下，将目标数据流发送至预设数据处理引擎的下游，包括：若从外部存储介质中成功获取到缺失属性数据，则控制缺失属性数据写入至目标数据流中，并将预设标签写入至目标数据流中；将写入缺失属性数据以及预设标签的目标数据流，发送至预设数据处理引擎的下游。
[0014]进一步地，在执行失败的情况下，控制目标数据流写入重放子引擎执行数据流重放操作之后，该方法包括：在确定目标数据流执行数据流重放操作失败后，再次将目标数据流写入至重放子引擎中；确定目标数据流写入重放子引擎中的累计次数，在累计次数大于预设次数的情况下，将目标数据流发送至预设数据处理引擎的下游。
[0015]根据本专利技术实施例的另一方面，还提供了一种数据流的处理装置，包括：第一确定单元，用于在预设数据处理引擎的上游接收到数据流的情况下，确定数据流是否为目标数据流，其中，目标数据流为待执行异步查询操作的数据流；第一执行单元，用于在数据流为目标数据流的情况下，依据目标数据流，执行异步查询操作；第一判断单元，用于判断异步查询操作是否执行成功，并在执行成功的情况下，将目标数据流发送至预设数据处理引擎的下游；第一控制单元，用于在执行失败的情况下，控制目标数据流写入重放子引擎执行数据流重放操作，其中，数据流重放操作为重新控制数据流执行异步查询操作的操作。
[0016]根据本专利技术实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，程序执行一种数据流的处理方法。
[0017]根据本专利技术实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行一种数据流的处理方法。
[0018]根据本专利技术实施例的另一方面，还提供了一种电子设备，包括：一个或多个处理器，存储器以及一个或多个程序，其中，一个或多个程序被存储在存储器中，并且被配置为由一个或多个处理器执行，一个或多个程序包括用于执行一种数据流的处理方法。
[0019]在本专利技术实施例中，通过在预设数据处理引擎的上游接收到数据流的情况下，确定数据流是否为目标数据流，其中，目标数据流为待执行异步查询操作的数据流；在数据流为目标数据流的情况下，依据目标数据流，执行异步查询操作；判断异步查询操作是否执行
成功，并在执行成功的情况下，将目标数据流发送至预设数据处理引擎的下游；在执行失败的情况下，控制目标数据流写入重放子引擎执行数据流重放操作，其中，数据流重放操作为重新控制数据流执行异步查询操作的操作，解决了现有技术中Flink开源流处理框架中的异步查询没有特定的执行逻辑，在异步查询失败后，没有对异常做相应处理，导致异步查询的执行效率低的技术问题，通过对异步查询做了数据重放处理，进而达到提高异步查询准确率的技术效果。
附图说明
[0020]构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：...
【技术保护点】
【技术特征摘要】
1.一种数据流的处理方法，其特征在于，包括：在预设数据处理引擎的上游接收到数据流的情况下，确定所述数据流是否为目标数据流，其中，所述目标数据流为待执行异步查询操作的数据流；在所述数据流为所述目标数据流的情况下，依据所述目标数据流，执行所述异步查询操作；判断所述异步查询操作是否执行成功，并在执行成功的情况下，将所述目标数据流发送至所述预设数据处理引擎的下游；在执行失败的情况下，控制所述目标数据流写入重放子引擎执行数据流重放操作，其中，所述数据流重放操作为重新控制所述数据流执行所述异步查询操作的操作。2.根据权利要求1所述的方法，其特征在于，在预设数据处理引擎的上游接收到数据流的情况下，确定所述数据流是否为目标数据流，包括：确定所述数据流中包括的预设关键字，其中，所述预设关键字设置在所述数据流的预设字符位置；依据所述预设关键字，查找与所述预设关键字对应的实例，并获取所述实例中定义的所述数据流包含的多个属性数据；解析所述数据流中包含的当前属性数据，并对比所述当前属性数据与多个所述属性数据，并确定所述数据流中是否缺失部分所述属性数据；在所述数据流缺失部分所述属性数据的情况下，确定所述数据流为所述目标数据流；在所述数据流的所述当前属性数据与多个所述属性数据一致的情况下，确定所述数据流为非目标数据流。3.根据权利要求2所述的方法，其特征在于，依据所述预设关键字，查找与所述预设关键字对应的实例，包括：获取多种所述数据流，并确定多种所述数据流对应的多个关键字，其中，每种类型的所述数据流与所述关键字一一对应；确定每种所述数据流包含的多个所述属性数据，以及多个所述属性数据所在的至少一个外部存储介质的链接；依据所述关键字、多个所述属性数据以及至少一个所述外部存储介质的链接，生成配置文件；通过JAVA反射的方式对所述配置文件进行实例化操作，生成所述数据流对应的实例；获得多种类型的所述数据流对应多个所述实例，保存多个所述实例至预设哈希图中。4.根据权利要求1所述的方法，其特征在于，在所述数据流为所述目标数据流的情况下，依据所述目标数据流，执行所述异步查询操作，包括：确定所述数据流包含的预设关键字，并依据所述预设关键字，查找与所述预设关键字对应的实例，其中，所述预设关键字设置在所述数据流的预设字符位置；依据所述实例中定义的所述数据流包含的多个属性数据，确定所述数据流对应的缺失属性数据，其中，所述缺失属性数据为所述数据流中缺失的至少一个所述属性数据；依据所述实例，查找与所述缺失属性数据对应的外部存储介质的链接；依据所述外部存储介质的链接，从所述外部存储介质中获取所述缺失属性数据。5.根据权利要求4所述的方法，其特征在于，判断所述异步...
【专利技术属性】
技术研发人员：张兰英，邓箫笛，胡瑞娟，董丽娟，王建超，关东，
申请(专利权)人：中国邮政储蓄银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。