一种数据差异化对比方法、计算设备及存储介质技术

本发明专利技术公开了一种数据差异化对比方法、计算设备及存储介质，该方法适于在计算设备中执行，计算设备包括存储单元，存储单元中存储有多个对比模板，每个对比模板关联有对应的模板标识，该方法包括：确定对比模式；在对比模式下，对对比参数进行解析，以获取确定使用的对比模板的模板标识和数据查询参数；根据确定使用的对比模板的模板标识，从存储单元中获取对应的对比模板作为目标对比模板；基于数据查询参数和目标对比模板，进行数据差异化对比，以得到差异结果。得到差异结果。得到差异结果。

【技术实现步骤摘要】
一种数据差异化对比方法、计算设备及存储介质


[0001]本专利技术涉及数据处理
，特别涉及一种数据差异化对比方法、计算设备及存储介质。

技术介绍

[0002]随着企业的不断发展，业务也迎来了相应的扩张和多元化，企业中各业务部门之间基于数据中心的数据共享和同步也越来越频繁。在尽力保证各业务线之间共享数据的一致性时，也难以避免会遇到同步失败、同步延迟所带来数据差异的问题。业务流转过程中，数据差异会导致业务中断，但差异排查的困难一直存在，需要主动进行数据对比以发现数据之间的差异，并及时通知相关人员进行处理。
[0003]目前，常用的数据对比方法一般分为两种，第一种是基于文本的对比，一般用于对同一文件编辑后进行差异对比，实现简单，成本小，但在处理不同业务之间的共享的同一维度数据时，由于不同业务之间的数据格式可能不同，无法直接进行文本对比，且一些无关的不同维度的数据会成为干扰项，再加上数据存储格式的不同，从而影响对比结果。
[0004]第二种则是基于JSON(JavaScript Object Notation，JS对象简谱)格式数据的对比，JSON格式是一种轻量级的数据交换格式，与基于文本的对比方法相比，基于JSON格式数据的对比方法更灵活和准确，对来自不同结构的数据源的数据进行对比时，可将数据转换统一JSON格式输出，屏蔽不同结构数据之间的差异，专注于同维度数据的值比较。
[0005]虽然第二种方法可实现更准确的数据差异化对比，更符合实际当中越来越复杂的多业务下的需求，但是，在针对不同业务同维度数据的对比时，对比之前需要提供不同业务的数据源，如通过HTTP(Hyper Text Transfer Protocol，超文本传输协议)接口去访问数据源，同时还需要获取不同数据源的对比字段的JSONPATH(即JSON格式的数据中的字段提取路径)，实现复杂且对数据源稳定性有依赖。
[0006]因此，需要一种新的数据差异化对比方法来优化上述处理过程。

技术实现思路

[0007]为此，本专利技术提供一种数据差异化对比方案，以力图解决或者至少缓解上面存在的问题。
[0008]根据本专利技术的一个方面，提供一种数据差异化对比方法，适于在计算设备中执行，计算设备包括存储单元，存储单元中存储有多个对比模板，每个对比模板关联有对应的模板标识，该方法包括如下步骤：首先，确定对比模式；在对比模式下，对对比参数进行解析，以获取确定使用的对比模板的模板标识和数据查询参数；根据确定使用的对比模板的模板标识，从存储单元中获取对应的对比模板作为目标对比模板；基于数据查询参数和目标对比模板，进行数据差异化对比，以得到差异结果。
[0009]可选地，在根据本专利技术的数据差异化对比方法中，确定对比模式的步骤，包括：根据业务需求，从对比模式集合包括的多种对比模式中选出一种对比模式进行确定，对比模
式集合包括手动对比模式、延迟对比模式和定时对比模式。
[0010]可选地，在根据本专利技术的数据差异化对比方法中，每个对比模板中配置有多个对比数据源以及一个参照数据源，参照数据源为多个对比数据源中选出的一个对比数据源，基于数据查询参数和目标对比模板，进行数据差异化对比，以得到差异结果的步骤，包括：基于数据查询参数，查询目标对比模板中配置的多个对比数据源，以获取目标对比模板的多个对比数据源中每个对比数据源的查询数据；以目标对比模板中配置的参照数据源的查询数据为基准，对获取到的各查询数据进行解析并差异化对比，以得到差异结果。
[0011]可选地，在根据本专利技术的数据差异化对比方法中，每个对比模板中还配置有至少一个对比字段，以及对比字段分别在对比模板的多个对比数据源中的字段提取路径，对获取到的各查询数据进行解析并差异化对比，以得到差异结果的步骤，包括：对目标对比模板中配置的各对比字段，根据对比字段分别在目标对比模板的多个对比数据源中的字段提取路径，解析获取到的各查询数据，以获得对比字段下目标对比模板的多个对比数据源中每个数据源的数据解析结果，数据解析结果包括对比字段的字段值；对获得的各数据解析结果进行差异化对比，以得到差异结果。
[0012]可选地，在根据本专利技术的数据差异化对比方法中，对获得的各数据解析结果进行差异化对比，以得到差异结果的步骤，包括：对获得的各数据解析结果，判断数据解析结果中的字段值是否为数值类型；若数据解析结果中的字段值是数值类型，则通过无损精度的数学计算方式进行差异化对比，以得到差异结果；若数据解析结果中的字段值不是数值类型，则调用比较函数进行差异化对比，以得到差异结果。
[0013]可选地，在根据本专利技术的数据差异化对比方法中，还包括：若差异结果不为空，则生成差异报告，并判断是否配置有告警消息通知方；若已配置，则触发消息通知，向告警消息通知方发送告警消息。
[0014]可选地，在根据本专利技术的数据差异化对比方法中，还包括预先配置对比模板，预先配置对比模板的步骤，包括：设置基础数据，基础数据包括各种对比模型、对比数据源和对比字段；根据基础数据，确定需要的对比模型，并基于需要的对比模型，从基础数据中选择多个对比数据源和至少一个对比字段，以配置对比模板。
[0015]可选地，在根据本专利技术的数据差异化对比方法中，预先配置对比模板的步骤，包括：从对比模板配置的多个对比数据源中指定一个对比数据源，作为参照数据源；对对比模板中配置的各对比字段，获取对比字段分别在对比模板的多个对比数据源中的字段提取路径，将获取到的各字段提取路径与参照数据源配置于对比模板。
[0016]根据本专利技术的又一个方面，提供了一种计算设备，包括：至少一个处理器；以及存储器，存储有程序指令，其中，程序指令被配置为适于由至少一个处理器执行，程序指令包括用于执行如上所述的数据差异化对比方法的指令。
[0017]根据本专利技术的又一个方面，提供了一种存储有程序指令的可读存储介质，当程序指令被计算设备读取并执行时，使得计算设备执行如上所述的数据差异化对比方法。
[0018]根据本专利技术的数据差异化对比方案，在确定好的对比模式下，对对比参数进行解析，以获取确定使用的对比模板的模板标识和数据查询参数，根据确定使用的对比模板的模板标识，获取对应的对比模板作为目标对比模板，基于数据查询参数和目标对比模板，进行数据差异化对比，以得到差异结果，实现了数据自动差异化对比，保障了数据可用性。
[0019]在上述技术方案中，对比模式可选用手动对比、延迟对比和定时对比模式中任一种，以满足相应的业务需求。在自动对比差异时，基于字段提取路径进行数据解析以快速获取对应的字段值，并根据字段值的类型采取不同的对比方式来进行差异化对比，结合后续执行告警等操作，提高了数据一致性和错误数据处理的及时性，避免用户发现问题后由业务方层层反馈再到相关技术处理之间的延误，保证了业务流程的顺畅。
[0020]此外，该技术方案还可以作为辅助验证工具来验证数据同步机制的准确性，提高开发效率，节省人工去不同业务中查询，特别是在数据字段特别多、结构不同等干扰项多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据差异化对比方法，适于在计算设备中执行，所述计算设备包括存储单元，所述存储单元中存储有多个对比模板，每个对比模板关联有对应的模板标识，所述方法包括：确定对比模式；在所述对比模式下，对对比参数进行解析，以获取确定使用的对比模板的模板标识和数据查询参数；根据所述确定使用的对比模板的模板标识，从所述存储单元中获取对应的对比模板作为目标对比模板；基于所述数据查询参数和所述目标对比模板，进行数据差异化对比，以得到差异结果。2.如权利要求1所述的方法，其中，所述确定对比模式的步骤，包括：根据业务需求，从对比模式集合包括的多种对比模式中选出一种对比模式进行确定，所述对比模式集合包括手动对比模式、延迟对比模式和定时对比模式。3.如权利要求1或2所述的方法，其中，每个对比模板中配置有多个对比数据源以及一个参照数据源，所述参照数据源为所述多个对比数据源中选出的一个对比数据源，所述基于所述数据查询参数和所述目标对比模板，进行数据差异化对比，以得到差异结果的步骤，包括：基于所述数据查询参数，查询所述目标对比模板中配置的多个对比数据源，以获取所述目标对比模板的多个对比数据源中每个对比数据源的查询数据；以所述目标对比模板中配置的参照数据源的查询数据为基准，对获取到的各查询数据进行解析并差异化对比，以得到差异结果。4.如权利要求3所述的方法，其中，每个对比模板中还配置有至少一个对比字段，以及所述对比字段分别在所述对比模板的多个对比数据源中的字段提取路径，所述对获取到的各查询数据进行解析并差异化对比，以得到差异结果的步骤，包括：对所述目标对比模板中配置的各对比字段，根据所述对比字段分别在所述目标对比模板的多个对比数据源中的字段提取路径，解析获取到的各查询数据，以获得所述对比字段下所述目标对比模板的多个对比数据源中每个数据源的数据解析结果，所述数据解析结果包括所述对比字段的字段值；对获得的各数据解析结果进行差异化对比...

【专利技术属性】
技术研发人员：刘自耀，
申请(专利权)人：车智互联北京科技有限公司，
类型：发明
国别省市：