业务数据生成方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种业务数据生成方法、装置、电子设备及存储介质。该方法包括：确定模拟数据所使用的数据集控制配置信息；调用并加载可配置的模拟数据规则模板文件；其中所述模拟数据规则模板文件用于指示模拟数据所使用的模拟配置策略信息；依据模拟数据规则模板文件与所述数据集控制配置信息，控制执行数据模拟逻辑操作，生成模拟的业务数据。通过本发明专利技术实施例的技术方案，实现通过动态定制的配置文件自动进行数据模拟生成。置文件自动进行数据模拟生成。置文件自动进行数据模拟生成。

【技术实现步骤摘要】
业务数据生成方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及数据处理
，尤其涉及一种业务数据生成方法、装置、电子设备及存储介质。

技术介绍

[0002]在大数据以及一些基础编程工作中，常常要用到很多数据集来用作测试数据；或者在数据平台搭建初期，并没有真实的数据上报来满足各个中间件之间的衔接测试；又或许有真实数据上报但是数据量并不满足数据库和中间件压力测试和瓶颈。
[0003]目前，可以通过手动制造数据，但是手动制造数据，会浪费大量时间且非常繁琐；以及手动制造数据完全随机，其中量级无法控制，无法满足实际应用场景对数据可靠性要求。
[0004]因此，如何解决数据集的数据量以及真实性，是本领域技术人员亟待解决的技术问题。

技术实现思路

[0005]本专利技术实施例中提供了一种业务数据生成方法、装置、电子设备及存储介质，以实现通过动态定制的配置文件自动进行数据模拟生成。
[0006]第一方面，本专利技术实施例中提供了一种业务数据生成方法，包括：
[0007]确定模拟数据所使用的数据集控制配置信息；
[0008]调用并加载可配置的模拟数据规则模板文件；其中所述模拟数据规则模板文件用于指示模拟数据所使用的模拟配置策略信息；
[0009]依据模拟数据规则模板文件与所述数据集控制配置信息，控制执行数据模拟逻辑操作，生成模拟的业务数据。
[0010]第二方面，本专利技术实施例中还提供了一种业务数据生成装置，包括：
[0011]配置信息确定模块，用于确定模拟数据所使用的数据集控制配置信息；
[0012]数据规则加载模块，用于调用并加载可配置的模拟数据规则模板文件；其中所述模拟数据规则模板文件用于指示模拟数据所使用的模拟配置策略信息；
[0013]数据模拟生成模块，用于依据模拟数据规则模板文件与所述数据集控制配置信息，控制执行数据模拟逻辑操作，生成模拟的业务数据。
[0014]第三方面，本专利技术实施例中还提供了一种电子设备，包括：
[0015]一个或多个处理器；
[0016]存储装置，用于存储一个或多个程序；
[0017]所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任意实施例中提供的业务数据生成方法。
[0018]第四方面，本专利技术实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例中提供的业务数据生成方法。
[0019]本专利技术实施例中提供了一种业务数据生成方法、装置、电子设备及存储介质，通过确定模拟数据所使用的数据集控制配置信息，调用并加载可配置的模拟数据规则模板文件，依据模拟数据规则模板文件与所述数据集控制配置信息，控制执行数据模拟逻辑操作，生成模拟的业务数据，达到通过动态可配置文件实现数据模拟的技术效果，实现不需要技术人员来进行代码修改，就能根据自身数据模拟需求来动态调整数据模拟过程，降低了模拟数据的复杂度。
[0020]上述
技术实现思路
仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0021]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0022]图1是本申请实施例一提供的一种业务数据生成方法的流程图；
[0023]图2是本申请实施例二提供的一种业务数据生成方法的流程图；
[0024]图3是本申请实施例三提供的一种业务数据生成装置的结构示意图；
[0025]图4是本申请实施例四提供的一种电子设备的结构示意图。
具体实施方式
[0026]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0027]在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0028]实施例一
[0029]图1是本专利技术实施例一中提供的一种业务数据生成方法的流程图，该方法可适用于模拟业务数据生成的情况，该方法可由业务数据生成装置来执行，该装置可由软件和/或硬件实现，并可集成于电子设备中。如图1所示，本实施例中的业务数据生成方法，包括以下步骤：
[0030]S110、确定模拟数据所使用的数据集控制配置信息。
[0031]其中，数据集控制配置信息可包括通过输入模块来动态配置的数据集控制配置信息。例如，通过Input输入模块来动态配置模拟数据集的数量、输入队伍的并发数量和生产时间等。模拟数据是通过配置文件来实现的，脱离代码层面，不需要技术人员来进行代码修改，就能实现动态调整数据模拟过程。
[0032]S120、调用并加载可配置的模拟数据规则模板文件。
[0033]其中，所述模拟数据规则模板文件用于指示模拟数据所使用的模拟配置策略信息。
[0034]其中，调用并加载模拟数据规则模板文件是指调用并加载使用者模拟数据所使用的模拟配置策略信息。例如，预定义的DataMock插件可以实现通过正则反向生成字符串，调用并加载模拟数据时的模拟字段名、基数限定参数和数据集各类字段占总数据量的百分比等功能。
[0035]S130、依据模拟数据规则模板文件与所述数据集控制配置信息，控制执行数据模拟逻辑操作，生成模拟的业务数据。
[0036]其中，将Input输入插件进行的数据集控制配置、定义模拟规则进行模拟规则加载和根据布隆过滤器实现的基数限定功能，通过预定义的DataMock插件控制执行数据模拟逻辑操作，生成模拟的业务数据，以使得模拟的业务数据更接近真实的业务数据，最后输出数据集。
[0037]本专利技术实施例提供了一种业务数据生成的方法，通过确定模拟数据所使用的数据集控制配置信息，调用并加载可配置的模拟数据规则模板文件，依据模拟数据规则模板文件与所述数据集控制配置信息，控制执行数据模拟逻辑操作，生成模拟的业务数据，克服了手动制造数据的随机性以及繁琐性，实现了通过动态定制的配置文件自动进行数据模拟的生成；并且，不需要技术人员来进行代码修改，就能根据自身数据模拟需求来动态调整数据模拟过程，降低了模拟数据的复杂度。
[0038]实施例二
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务数据生成方法，其特征在于，所述方法包括：确定模拟数据所使用的数据集控制配置信息；调用并加载可配置的模拟数据规则模板文件；其中所述模拟数据规则模板文件用于指示模拟数据所使用的模拟配置策略信息；依据模拟数据规则模板文件与所述数据集控制配置信息，控制执行数据模拟逻辑操作，生成模拟的业务数据。2.根据权利要求1所述的方法，其特征在于，确定模拟数据所使用的数据集控制配置信息，包括：通过Input输入插件配置模拟数据所使用的数据集控制配置信息；其中，所述数据集控制配置信息包括：数据集数量参数、输入队列并发数量参数以及循环产生数据的时间周期参数。3.根据权利要求1所述的方法，其特征在于，模拟配置策略信息包括模拟数据时的模拟字段名、基数限定参数与数据字段占比参数以及模拟配置逻辑。4.根据权利要求3所述的方法，其特征在于，所述模拟配置逻辑包括以下至少一项：基于正则反向生成字段的逻辑、基于正则反向生成字段列表并基于配置的占比随机选取数据的逻辑、基于给定数据集随机选取数据的逻辑、基于给定数据集列表或者文件并基于配置的数据占比随机选取数据的逻辑以及基于配置的数据类型范围进行模拟数据的逻辑。5.根据权利要求3所述的方法，其特征在于，所述基数限定功能采用布隆过滤器或Redis来实现，所述数据字段占比功能采用treemap反向排序生成随机k...

【专利技术属性】
技术研发人员：杨春辉，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：