数据处理方法、装置、可读介质及电子设备制造方法及图纸

本公开涉及一种数据处理方法、装置、可读介质及电子设备。所述方法包括：接收数据查询指令，所述数据查询指令包括用于查询数据的目标查询方式、目标查询标识和目标属性信息；按照与所述目标查询方式对应的键拼接规则，对所述目标查询标识和所述目标属性信息进行拼接，得到目标键；从用于存储数据的宽表中确定出与所述目标键对应的目标数据，所述宽表基于强一致性的分布式键值存储模型进行数据存储。这样，通过宽表存储的方式，能够保证同业务的数据存储在同一宽表中，解决了大型分布式系统中的数据不一致、元信息管理困难等问题，并且，基于底层的键值存储模型和强一致特性，能够提供扩展性强、功能丰富的数据服务，以应对数据存储、查询等需求。查询等需求。查询等需求。

【技术实现步骤摘要】
数据处理方法、装置、可读介质及电子设备


[0001]本公开涉及计算机
，具体地，涉及一种数据处理方法、装置、可读介质及电子设备。

技术介绍

[0002]随着互联网技术中业务复杂度的增长和业务数量的扩张，业务研发往往面对着数据元信息难以管理、数据规模爆炸等难题，影响软件开发效率，增加数据运维难度。此时，若仍采用传统的关系型数据库的数据存储方式，由于传统关系型数据库自身的限制(例如，MySQL限制一行数据最多4096列)，业务通常需要拆分数据模型，将数据存放在不同的表甚至不同的数据库中，这样，海量数据将分散在异构的各种存储系统中，难以保障读写的一致性。并且，由于各种业务都维护了自身的数据元信息，导致数据属性的读写权限管理混乱，不仅无法做到按需读取，还易造成安全隐患。因此，传统的关系型数据库存在分布式扩展性差、分布式一致性难以保障、单条记录过大导致的读写性能下降等诸多问题。此外，传统的数据库不支持复杂业务所需语义，业务需要自行开发，而不同的业务在操作各自的业务数据时，都需要实现一些相似的业务语义，如索引、缓存、分布式事务支持等，如果每个业务都实现自己的数据层，还存在工作量冗余的问题。

技术实现思路

[0003]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0004]第一方面，本公开提供一种数据处理方法，所述方法包括：
[0005]接收数据查询指令，所述数据查询指令包括用于查询数据的目标查询方式、目标查询标识和目标属性信息；
[0006]按照与所述目标查询方式对应的键拼接规则，对所述目标查询标识和所述目标属性信息进行拼接，得到目标键；
[0007]从用于存储数据的宽表中确定出与所述目标键对应的目标数据，所述宽表基于强一致性的分布式键值存储模型进行数据存储。
[0008]第二方面，本公开提供一种数据处理装置，所述装置包括：
[0009]接收模块，用于接收数据查询指令，所述数据查询指令包括用于查询数据的目标查询方式、目标查询标识和目标属性信息；
[0010]第一拼接模块，用于按照与所述目标查询方式对应的键拼接规则，对所述目标查询标识和所述目标属性信息进行拼接，得到目标键；
[0011]第一确定模块，用于从用于存储数据的宽表中确定出与所述目标键对应的目标数据，所述宽表基于强一致性的分布式键值存储模型进行数据存储。
[0012]第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处
理装置执行时实现本公开第一方面所述方法的步骤。
[0013]第四方面，本公开提供一种电子设备，包括：
[0014]存储装置，其上存储有计算机程序；
[0015]处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
[0016]通过上述技术方案，接收数据查询指令，数据查询指令包括用于查询数据的目标查询方式、目标查询标识和目标属性信息，按照与目标查询方式对应的键拼接规则，对目标查询标识和目标属性信息进行拼接，得到目标键，再从用于存储数据的宽表中确定出与目标键对应的目标数据，所述宽表基于强一致性的分布式键值存储模型进行数据存储。由此，针对数据的查询需求，能够根据查询特性，生成用于在宽表中进行数据查询的目标键，从而，能够准确、快速地从宽表中定位到用户查询的相应数据。这样，通过宽表存储的方式，能够保证同业务的数据存储在同一宽表中，解决了大型分布式系统中的数据不一致、元信息管理困难等问题，并且，基于底层的键值存储模型和强一致特性，能够提供扩展性强、功能丰富的数据服务，以应对数据存储、查询等需求。
[0017]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0018]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0019]图1是根据本公开的一种实施方式提供的数据处理方法的流程图；
[0020]图2是根据本公开提供的数据处理方法中，宽表模型的一种示例性的示意图；
[0021]图3是根据本公开的一种实施方式提供的数据处理装置的框图；
[0022]图4示出了适于用来实现本公开实施例的电子设备的结构示意图。
具体实施方式
[0023]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0024]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0025]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0026]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0027]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0028]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0029]可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
[0030]例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
[0031]作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：接收数据查询指令，所述数据查询指令包括用于查询数据的目标查询方式、目标查询标识和目标属性信息；按照与所述目标查询方式对应的键拼接规则，对所述目标查询标识和所述目标属性信息进行拼接，得到目标键；从用于存储数据的宽表中确定出与所述目标键对应的目标数据，所述宽表基于强一致性的分布式键值存储模型进行数据存储。2.根据权利要求1所述的方法，其特征在于，所述宽表中的数据通过如下方式存储：获取待存储数据的数据标识信息、数据类型、属性名称和属性值；按照用于存储实体的实体键拼接规则，得到目标实体键；在所述宽表中，将所述目标实体键与所述待存储数据的属性值关联存储。3.根据权利要求2所述的方法，其特征在于，所述宽表中的数据还通过如下方式存储：响应于接收到针对所述待存储数据的非唯一索引键配置指令，确定第一索引标识信息和第一索引属性值；按照非唯一索引键拼接规则，对所述第一索引标识信息、所述第一索引属性值和所述待存储数据的数据标识信息进行拼接，得到目标非唯一索引键；在所述宽表中，将所述目标非唯一索引键与预设值关联存储。4.根据权利要求2所述的方法，其特征在于，所述宽表中的数据还通过如下方式存储：响应于接收到针对所述待存储数据的唯一索引键配置指令，确定第二索引标识信息和第二索引属性值；按照唯一索引键拼接规则，对所述第二索引标识信息和所述第二索引属性值进行拼接，得到目标唯一索引键；在所述宽表中，将所述目标唯一索引键与所述待存储数据的数据标识信息关联存储。5.根据权利要求1所述的方法，其特征在于，若所述目标查询方式为实体查询，则所述数据查询指令还包括目标数据类型，且所述目标查询标识为待查询数据的数据标识信息，所述目标属性信息为所述待查询数据的属性名称；所述按照与所述目标查询方式对应的键拼接规则，对所述目标查询标识和所述目标属性信息进行拼接，得到目标键，包括：对所述待查询数据的数据标识信息、所述目标数据类型和所述待查询数据的属性名称进行拼接，得到所述目标键。6.根据权利要求1所述的方法，其特征在于，若所述目标查询方式为非唯一索引查询，则所述目标查询标识为...

【专利技术属性】
技术研发人员：刘洋，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：