本申请实施例公开了一种数据处理方法，对第一源表的数据结构进行监测，当监测到第一源表的数据结构发生变化时，获取数据模型的第一数据结构，该第一数据结构为第一源表的数据结构发生变化前，数据模型所对应的数据结构。其中，数据模型用于对第一源表中的数据进行分析，该数据模型物理上对应一张数据表，该数据表是根据第一源表的数据获得的。将第一源表中的数据结构(发生变化后的数据结构)与数据模型的第一数据结构进行匹配，获得匹配结果，并根据匹配结果对数据模型的第一数据结构进行调整，获得第二数据结构。可见，通过本申请实施例提供的方法，使得数据模型的数据结构与第一源表的数据结构保持一致，从而提高数据分析的准确性。准确性。准确性。
【技术实现步骤摘要】
一种数据处理方法、装置、电子设备和介质
[0001]本申请涉及计算机处理技术，具体涉及一种数据处理方法、装置、电子设备和介质。
技术介绍
[0002]随着大数据技术与应用的发展，企业管理的数据量越来越庞大，大数据分析已成为驱动企业业务发展的必备手段。数据分析的准确性取决于数据模型的准确性，数据模型是根据源数据表(源表)得到的。而当源数据表中的字段改变时，由于数据模型不能同步改变结构，导致源表结构和数据模型结构不一致，进而造成数据模型准确性下降甚至数据同步失败。
技术实现思路
[0003]有鉴于此，本申请实施例提供一种数据处理方法、装置、电子设备和介质，以实现在源表的数据结构发生变化时，对数据模型的结构进行更新，提高数据分析的准确性。
[0004]为实现上述目的，本申请实施例提供的技术方案如下：
[0005]在本申请实施例第一方面，提供了一种数据处理方法，其特征在于，所述方法包括：
[0006]响应于第一源表的数据结构发生变化，获取数据模型的第一数据结构，所述数据模型为对所述第一源表中的数据进行分析时所对应的数据表，所述第一数据结构为所述第一源表的数据结构发生变化前所述数据模型对应的数据结构；
[0007]将所述第一源表的数据结构与所述数据模型的第一数据结构进行匹配，获得匹配结果，所述第一源表的数据结构为发生变化后所述第一源表对应的数据结构；
[0008]根据所述匹配结果对所述数据模型的第一数据结构进行调整，获得所述数据模型的第二数据结构。
[0009]在本申请实施例第二方面，提供了一种数据处理装置，所述装置包括：
[0010]获取单元，用于响应于第一源表的数据结构发生变动，获取数据模型的第一数据结构，所述数据模型为对所述第一源表中的数据进行分析时所对应的数据表，所述第一数据结构为所述第一源表的数据结构发生变化前所述数据模型对应的数据结构；
[0011]匹配单元，用于将所述第一源表中的数据结构与所述数据模型的第一数据结构进行匹配，获得匹配结果，所述第一源表的数据结构为发生变化后所述第一源表对应的数据结果；
[0012]调整单元，用于根据所述匹配结果对所述数据模型的第一数据结构进行调整，获得所述数据模型的第二数据结构。
[0013]在本申请实施例第三方面，提供了一种电子设备，所述设备包括：处理器和存储器；
[0014]所述存储器，用于存储指令或计算机程序；
[0015]所述处理器，用于执行所述存储器中的所述指令或计算机程序，以使得所述电子设备执行第一方面所述的数据处理方法。
[0016]在本申请实施例第四方面，提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行第一方面所述的数据处理方法。
[0017]由此可见，本申请实施例具有如下有益效果：
[0018]本申请实施例可以对第一源表的数据结构进行监测，当监测到第一源表的数据结构发生变动时，获取数据模型的第一数据结构，该第一数据结构为第一源表的数据结构发生变化之前，数据模型所对应的数据结构。其中，数据模型用于对第一源表中的数据进行分析，该数据模型物理上对应一张数据表，该数据表是根据第一源表的数据获得的。将第一源表中的数据结构(发生变化后的数据结构)与数据模型的第一数据结构进行匹配，获得匹配结果，并根据匹配结果对数据模型的第一数据结构进行调整，获得数据模型的第二数据结构。可见，通过本申请实施例提供的方法，使得数据模型的数据结构与第一源表的数据结构保持一致，从而提高数据分析的准确性。
附图说明
[0019]图1为本申请实施例提供的一种数据处理方法流程图；
[0020]图2a为本申请实施例提供的一种数据源表的数据结构调整示意图；
[0021]图2b为本申请实施例提供的一种数据结构调整对比示意图；
[0022]图2c为本申请实施例提供的另一种数据结构调整对比示意图；
[0023]图3a为本申请实施例提供的一种自动更新数据模型的数据结构框架图；
[0024]图3b为本申请实施例提供的一种手动更新数据模型的数据结构框架图；
[0025]图4为本申请实施例提供的一种数据处理装置结构图；
[0026]图5为本申请实施例提供的一种电子设备结构图。
具体实施方式
[0027]为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，并非对本申请的限定。另外，还需要说明的是，为便于描述，附图中仅示出了与本申请相关的部分，并非全部结构。
[0028]为便于理解本申请实施例提供的技术方案，下面将先对本申请实施例所涉及的技术名词进行说明。
[0029]源表：数据源表，用来存储数据的原始表，为用户侧的数据。
[0030]数据模型：用于对源表中的数据进行分析，其在物理上对应一张底表。
[0031]底表：用来存储数据模型的结构和源表中数据的数据表，数据模型的结构与底表的结构一致。其中，底表中数据的读取速度高于源表中数据的读取速度。
[0032]字段：为源表中的列名或底表的列名。
[0033]同步任务：用于将源表中的数据同步到底表中。
[0034]在实际应用中，在获取到源表后，用户可以根据源表的数据和相关配置生成一张底表，以用于存储数据模型的结构和数据。当源表中的数据更新时，同步任务会自动将新数
据从源表中同步到底表。然而，当源表的数据结构发生变化时，例如，源表中增加新的字段，由于底表的结构未相应改变，导致底表的数据结构和源表的数据结构不一致，导致数据丢失以及同步任务失败。
[0035]基于此，本申请实施例提供的一种数据处理方法，当监测到第一源表的数据结构发生变化时，获取数据模型的第一数据结构，该第一数据结构为第一源表的数据结构发生变化之前，数据模型所对应的数据结构，并将第一源表的数据结构(发生变化后的数据结构)与数据模型的第一数据结构进行匹配，获得匹配结果。在获得匹配结果后，根据匹配结果对数据模型的第一数据结构进行调整，获得数据模型的第二数据结构。即，在监测到第一源表的数据结构发生变动且对数据模型中的数据进行同步之前，先对第一源表的数据结构和数据模型的第一数据结构进行比对，获得比对结果，并根据比对结果对数据模型的第一数据结构进行调整，从而使得数据模型的第二数据结构与第一源表的数据结构一致，进而保证同步任务的顺利进行，提高数据分析的准确性。
[0036]为便于理解，下面将结合附图对本申请实施例提供的技术方案进行说明。
[0037]参见图1，该图为本申请实施例提供的一种数据处理方法流程图，如图1所示，该方法可以包括：
[0038]S101：响应于第一源表的数据结构发生变化，获取数据模型的第一数据结构。
[0039]本实施例中，可以监测第一源表的数据结构，当监测到第一源表的数据结构发生变化时，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：响应于第一源表的数据结构发生变化，获取数据模型的第一数据结构，所述数据模型为对所述第一源表中的数据进行分析时所对应的数据表，所述第一数据结构为所述第一源表的数据结构发生变化前所述数据模型对应的数据结构；将所述第一源表的数据结构与所述数据模型的第一数据结构进行匹配，获得匹配结果，所述第一源表的数据结构为发生变化后所述第一源表对应的数据结构；根据所述匹配结果对所述数据模型的第一数据结构进行调整，获得所述数据模型的第二数据结构。2.根据权利要求1所述的方法，其特征在于，所述匹配结果包括增加字段、删除字段和修改字段中的一种或多种。3.根据权利要求2所述的方法，其特征在于，所述根据所述匹配结果对所述数据模型的第一数据结构进行调整，获得所述数据模型的第二数据结构，包括：在所述匹配结果为所述修改字段时，删除所述数据模型中的第一数据结构中修改前的字段；在所述数据模型中的第一数据结构中添加修改后的字段，获得所述数据模型的第二数据结构。4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：在增加字段的字段名称和/或修改字段的字段名称与第二源表中的字段名称重复时，在所述数据模型的第二数据结构中相应字段的字段名称后添加对应的源表标识，所述数据模型为对所述第二源表中的数据进行分析时所对应的数据表。5.根据权利要求1所述的方法，其特征在于，在根据所述匹配结果对所述数据模型的第一数据结构进行调整，获得所述数据模型的第二数据结构之前，所述方法还包括：获取调整标志位所对应的信息，所...
【专利技术属性】
技术研发人员：张祎，陈文航，陈昌源，罗旋，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。