基于数据湖的加密存储方法、装置、电子设备制造方法及图纸

本申请公开了一种基于数据湖的加密存储方法、装置、电子设备，该方法包括：对于数据湖或湖仓一体场景来说，在获取到待处理数据(例如，针对某个数据表中某个数据块进行编码以及压缩所得的数据)、以及该待处理数据的元信息之后，先对该待处理数据中处于预设位置的数据进行加密处理，得到待使用加密数据，以使该待使用加密数据能够以密文形式表达出该待处理数据中处于预设位置的数据；再存储该待使用加密数据、该待处理数据中除了处于预设位置以外其他位置的数据、以及该元信息的加密数据，如此能够实现针对数据湖或湖仓一体中的数据的加密存储，从而能够有效地提高数据湖或湖仓一体的数据存储安全性。体的数据存储安全性。体的数据存储安全性。

【技术实现步骤摘要】
基于数据湖的加密存储方法、装置、电子设备


[0001]本申请涉及数据安全
，尤其涉及一种基于数据湖的加密存储方法、装置、电子设备、计算机可读介质。

技术介绍

[0002]随着数字化技术的发展，数据安全越来越重要。例如，在一些应用场景中，需要存储大量数据，故为了避免数据泄露，可以将这些数据进行加密存储。
[0003]然而，因一些数据(例如，数据湖或湖仓一体中的数据)的存储格式比较特殊，使得如何针对这些数据进行加密存储成为一项亟待解决的技术问题。

技术实现思路

[0004]为了解决上述技术问题，本申请提供了一种基于数据湖的加密存储方法、装置、电子设备、计算机可读介质，能够实现针对数据湖或湖仓一体中的数据的加密存储。
[0005]为了实现上述目的，本申请实施例提供的技术方案如下：
[0006]本申请实施例提供一种基于数据湖的加密存储方法，所述方法包括：
[0007]获取待处理数据、以及所述待处理数据的元信息；
[0008]对所述待处理数据中处于预设位置的数据进行加密处理，得到待使用加密数据；
[0009]存储所述待使用加密数据、所述待处理数据中除了处于预设位置以外其他位置的数据、以及所述元信息的加密数据。
[0010]在一种可能的实施方式中，所述待处理数据为压缩数据；所述处于预设位置的数据用于表示所述待处理数据的压缩描述信息。
[0011]在一种可能的实施方式中，所述待处理数据是利用预设压缩算法生成的压缩数据；所述预设位置是根据所述预设压缩算法确定的。
[0012]在一种可能的实施方式中，所述预设位置处于待处理数据的头部。
[0013]在一种可能的实施方式中，所述待处理数据的生成过程，包括：
[0014]在获取到原始数据之后，对所述原始数据进行编码处理，得到待使用编码结果；
[0015]对所述待使用编码结果进行二进制转换，得到待使用转换结果；
[0016]对所述待使用转换结果进行压缩处理，得到所述待处理数据。
[0017]在一种可能的实施方式中，所述存储所述待使用加密数据、所述待处理数据中除了处于预设位置以外其他位置的数据、以及所述元信息的加密数据，包括：
[0018]按照所述待处理数据对应的存储位置描述信息，存储所述待使用加密数据、以及所述待处理数据中除了处于预设位置以外其他位置的数据；
[0019]按照所述元信息对应的存储位置描述信息，存储所述元信息的加密数据。
[0020]在一种可能的实施方式中，所述元信息包括第一信息和第二信息；
[0021]所述按照所述元信息对应的存储位置描述信息，存储所述元信息的加密数据，包括：
[0022]按照所述第一信息对应的存储位置描述信息，存储所述第一信息的加密数据；
[0023]按照所述第二信息对应的存储位置描述信息，存储所述第二信息的加密数据。
[0024]本申请实施例还提供了一种基于数据湖的加密存储装置，包括：
[0025]获取单元，用于获取待处理数据、以及所述待处理数据的元信息；
[0026]加密单元，用于对所述待处理数据中处于预设位置的数据进行加密处理，得到待使用加密数据；
[0027]存储单元，用于存储所述待使用加密数据、所述待处理数据中除了处于预设位置以外其他位置的数据、以及所述元信息的加密数据。
[0028]本申请实施例还提供了一种电子设备，所述设备包括：处理器和存储器；
[0029]所述存储器，用于存储指令或计算机程序；
[0030]所述处理器，用于执行所述存储器中的所述指令或计算机程序，以使得所述电子设备执行本申请实施例提供的基于数据湖的加密存储方法的任一实施方式。
[0031]本申请实施例还提供了一种计算机可读介质，所述计算机可读介质中存储有指令或计算机程序，当所述指令或计算机程序在设备上运行时，使得所述设备执行本申请实施例提供的基于数据湖的加密存储方法的任一实施方式。
[0032]与现有技术相比，本申请实施例至少具有以下优点：
[0033]本申请实施例提供的技术方案中，对于数据湖或湖仓一体场景来说，在获取到待处理数据(例如，针对某个数据表中某个数据块进行编码以及压缩所得的数据)、以及该待处理数据的元信息之后，先对该待处理数据中处于预设位置的数据进行加密处理，得到待使用加密数据，以使该待使用加密数据能够以密文形式表达出该待处理数据中处于预设位置的数据；再存储该待使用加密数据、该待处理数据中除了处于预设位置以外其他位置的数据、以及该元信息的加密数据，如此能够实现针对数据湖或湖仓一体中的数据的加密存储，从而能够有效地提高数据湖或湖仓一体的数据存储安全性。
[0034]可见，因上文待使用加密数据能够以密文形式表达出待处理数据中处于预设位置的数据，使得当该待使用加密数据被非法用户获取之后，因其不知该待使用加密数据的解密方法而导致其无法从该待使用加密数据中解读出该“处于预设位置的数据”，从而导致该非法用户无法获取到完整的待处理数据，如此能够有效地提高该待处理数据的安全性。
[0035]另外，当上文“处于预设位置的数据”用于表示待处理数据的压缩描述信息时，因非法用户无法从待使用加密数据中解读出该“处于预设位置的数据”而导致该非法用户不知道如何针对该待处理数据进行解压缩，从而导致该非法用户只能获取到一堆乱码，如此能够有效地提高该待处理数据的安全性。
附图说明
[0036]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0037]图1为本申请实施例提供的一种Parquet格式的文件的示意图；
[0038]图2为本申请实施例提供的另一种Parquet格式的文件的示意图；
[0039]图3为本申请实施例提供的一种基于数据湖的加密存储方案的示意图；
[0040]图4为本申请实施例提供的一种基于数据湖的加密存储方法的流程图；
[0041]图5为本申请实施例提供的一种基于数据湖的加密存储装置的结构示意图；
[0042]图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0043]为了便于理解本申请的技术方案，下面针对本申请所涉及的一些技术名词进行说明。
[0044]Parquet格式(如图1所示的文件100的格式或者图2所示的文件200的格式)是一种基于列式存储的通用大数据文件格式；而且Parquet格式可以应用于数据湖或湖仓一体场景中。可见，对于数据湖或湖仓一体场景来说，这些场景中的数据通常可以采用Parquet格式进行存储，以使这些场景能够通过列裁剪、谓词下推等技术为用户提供更高效的查询性能。
[0045]另外，Parqu本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据湖的加密存储方法，其特征在于，所述方法包括：获取待处理数据、以及所述待处理数据的元信息；对所述待处理数据中处于预设位置的数据进行加密处理，得到待使用加密数据；存储所述待使用加密数据、所述待处理数据中除了处于预设位置以外其他位置的数据、以及所述元信息的加密数据。2.根据权利要求1所述的方法，其特征在于，所述待处理数据为压缩数据；所述处于预设位置的数据用于表示所述待处理数据的压缩描述信息。3.根据权利要求2所述的方法，其特征在于，所述待处理数据是利用预设压缩算法生成的压缩数据；所述预设位置是根据所述预设压缩算法确定的。4.根据权利要求1所述的方法，其特征在于，所述预设位置处于待处理数据的头部。5.根据权利要求1所述的方法，其特征在于，所述待处理数据的生成过程，包括：在获取到原始数据之后，对所述原始数据进行编码处理，得到待使用编码结果；对所述待使用编码结果进行二进制转换，得到待使用转换结果；对所述待使用转换结果进行压缩处理，得到所述待处理数据。6.根据权利要求1所述的方法，其特征在于，所述存储所述待使用加密数据、所述待处理数据中除了处于预设位置以外其他位置的数据、以及所述元信息的加密数据，包括：按照所述待处理数据对应的存储位置描述信息，存储所述待使用加密数据、以及所述待处理数据中除了处于预设位置以...

【专利技术属性】
技术研发人员：王恩策，孙科，郭俊，梁栋，罗旋，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：