分布式集群中的样本特征分位点确定方法及装置制造方法及图纸

本说明书实施例提供一种分布式集群中的样本特征分位点确定方法及装置，用于确定样本特征中第一属性项的特征分位点，主节点的CPU从内存中分别读取具有设定项数的多个第一数组，多个第一数组分别从多个从节点中获取，且分别基于样本集中不同的分批样本的样本特征得到，然后按照预定的方式，针对多个第一数组进行逐级数组合并，直至最后一级数组合并；其中任意一级数组合并包括：针对包含两个数组中各项的特征值集合，进行权重值进行合并、伪项填充操作得到合并数组，并将合并数组写入内存，采用不经意访问方式，从内存中读取最后一级数组合并得到的合并数组中除若干个伪项之外的项，基于从该合并数组中读取的各项确定所述第一属性项的特征分位点。述第一属性项的特征分位点。述第一属性项的特征分位点。

【技术实现步骤摘要】
分布式集群中的样本特征分位点确定方法及装置


[0001]本说明书一个或多个实施例涉及数据安全
，尤其涉及一种分布式集群中的样本特征分位点确定方法及装置。

技术介绍

[0002]在需要对数据进行处理的各个应用领域中，数据安全问题备受关注。可信执行环境(Trusted Execution Environment，TEE)能够提供独立于操作系统的执行环境，通过将高安全敏感的应用与通用软件环境隔离开，来提供安全保护。例如，基于软件保护扩展(Software Guard Extensions，SGX)技术制造的可信围圈(Enclave)等等。可信执行环境技术通常采用硬件隔离机制，在计算平台中隔离出包含CPU和内存的安全区域，并且内存中的加密数据只在CPU内部可见。这种可信执行环境技术能够提供比较安全的数据计算服务。运行在TEE中的多个可信计算节点可以构成分布式集群，分布式集群能够提供更高性能的计算服务。
[0003]当在TEE中执行针对网络模型的训练或其他应用处理时，CPU可以预先对样本数据进行一定的处理，例如可以对样本特征进行分箱，即可以根据分位点对多个样本特征的特征值进行分组，并将每一组视为一个类别值。在一个例子中，针对从1到50构成的年龄集合，通过分位点15、25、35可以将该年龄集合分成4个分箱。进行分箱之后的样本特征，能够为模型训练带来很多性能提升。而在确定样本特征中某个属性项的分位点时，CPU需要频繁地从内存中读取样本数据。当样本数据属于非常重要的隐私数据时，利用可信执行环境对样本数据进行处理时的安全性要求会更高。
[0004]因此，希望能有改进的方案，可以在TEE环境下更加安全地确定样本特征的分位点。

技术实现思路

[0005]本说明书一个或多个实施例描述了分布式集群中的样本特征分位点确定方法及装置，可以在TEE环境下更加安全地确定样本特征的分位点。具体的技术方案如下。
[0006]第一方面，实施例提供了一种分布式集群中的样本特征分位点确定方法，用于确定样本特征中第一属性项的特征分位点，所述分布式集群包括处于TEE中的主节点和多个从节点；所述方法通过所述主节点的CPU执行，所述主节点还包括内存；所述方法包括：
[0007]从所述内存中分别读取具有设定项数的多个第一数组，所述多个第一数组分别从多个从节点中获取，且分别基于样本集中不同的分批样本的样本特征得到，所述第一数组中任意一项包括样本的第一属性项的特征值与对应的权重值；
[0008]按照预定的方式，针对所述多个第一数组进行逐级数组合并，直至最后一级数组合并；其中任意一级数组合并包括：针对包含两个数组中各项的特征值集合，将其中值大小相同的特征值对应的权重值进行合并，得到合并序列；在所述合并序列中填充若干个伪项以得到填充序列，使得填充序列的项数为该两个数组的项数之和，任意一个伪项包含预设
特征值与对应的预设权重值；基于所述填充序列形成合并数组，并将所述合并数组写入所述内存；
[0009]采用不经意访问方式，从所述内存中读取最后一级数组合并得到的合并数组中除若干个伪项之外的项，并基于从该合并数组中读取的各项确定所述第一属性项的特征分位点。
[0010]在一种实施方式中，所述第一数组为对应的从节点对初始数组进行权重值合并、伪项填充后得到的；所述第一数组包含多个真实项和若干个伪项；所述从所述内存中分别读取具有设定项数的多个第一数组的步骤，包括：
[0011]采用不经意访问方式，从所述内存中分别读取多个第一数组中的真实项；
[0012]所述针对包含两个数组中各项的特征值集合，将其中值大小相同的特征值对应的权重值进行合并的步骤，包括：
[0013]针对包含两个数组中各个真实项的特征值集合，将其中值大小相同的特征值对应的权重值进行合并。
[0014]在一种实施方式中，所述针对包含两个数组中各项的特征值集合，将其中值大小相同的特征值对应的权重值进行合并的步骤，包括：
[0015]从两个数组中分别读取各个项，对各个项进行解密；
[0016]针对包含两个数组中解密后的各项的特征值集合，将其中值大小相同的特征值对应的权重值进行合并。
[0017]在一种实施方式中，所述将其中值大小相同的特征值对应的权重值进行合并的步骤，包括：
[0018]将所述特征值集合中各项的特征值按照值大小进行排序，得到重新排序后的各项组成的初始序列；
[0019]针对所述初始序列，将序列中值大小相同的特征值对应的权重值进行合并，得到合并序列。
[0020]在一种实施方式中，所述将所述特征值集合中各项的特征值按照值大小进行排序的步骤，包括，采用不经意排序原语，将所述特征值集合中各项的特征值按照值大小进行排序。
[0021]在一种实施方式中，所述将序列中值大小相同的特征值对应的权重值进行合并的步骤，包括：
[0022]针对所述初始序列，基于不经意比较原语，比较序列中相邻特征值是否相同，并将值大小相同的特征值对应的权重值进行合并。
[0023]在一种实施方式中，所述基于所述填充序列形成合并数组的步骤，包括：
[0024]将所述填充序列形成待剪枝数组，所述待剪枝数组的项数与所述填充序列的项数相同；基于所述待剪枝数组的项数与预设的最大项数的比较，对所述待剪枝数组进行剪枝操作，得到合并数组。
[0025]在一种实施方式中，所述基于所述待剪枝数组的项数与预设的最大项数的比较，对所述待剪枝数组进行剪枝操作的步骤，包括：
[0026]当所述待剪枝数组的项数不大于预设的最大项数时，直接将所述待剪枝数组作为所述合并数组；
[0027]当所述待剪枝数组的项数大于所述最大项数，且所述待剪枝数组包含的真实项的项数不大于所述最大项数时，减少所述待剪枝数组包含的伪项数量，使得到的合并数组的项数等于所述最大项数；
[0028]当所述待剪枝数组的项数大于所述最大项数，且所述待剪枝数组包含的真实项的项数大于所述最大项数时，删除所述待剪枝数组中的伪项，并将所述待剪枝数组中的真实项剪枝至项数为所述最大项数，得到合并数组。
[0029]在一种实施方式中，所述按照预定的方式，针对所述多个第一数组进行逐级数组合并的步骤，包括，将所述多个第一数组作为倒树的第一级结点，按照倒树的形式对所述多个第一数组进行逐级数组合并；或者，将所述多个第一数组按顺序排序，按照排序从头至尾依次进行逐级数组合并。
[0030]在一种实施方式中，所述采用不经意访问方式，从所述内存中读取最后一级数组合并得到的合并数组中除若干个伪项之外的项的步骤，包括：
[0031]采用不经意读取原语，从所述内存中读取最后一级数组合并得到的合并数组中的所有项，从该所有项中确定除所述若干个伪项之外的项。
[0032]在一种实施方式中，所述预设特征值取值为比所述样本集中样本的第一属性项的特征值大的值，所述预设权重值设置为0。
[0033]在一种实施方式中，所述在所述合并序列中填本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式集群中的样本特征分位点确定方法，用于确定样本特征中第一属性项的特征分位点，所述分布式集群包括处于可信执行环境TEE中的主节点和多个从节点；所述方法通过所述主节点的CPU执行，所述主节点还包括内存；所述方法包括：从所述内存中分别读取具有设定项数的多个第一数组，所述多个第一数组分别从多个从节点中获取，且分别基于样本集中不同的分批样本的样本特征得到，所述第一数组中任意一项包括样本的第一属性项的特征值与对应的权重值；按照预定的方式，针对所述多个第一数组进行逐级数组合并，直至最后一级数组合并；其中任意一级数组合并包括：针对包含两个数组中各项的特征值集合，将其中值大小相同的特征值对应的权重值进行合并，得到合并序列；在所述合并序列中填充若干个伪项以得到填充序列，使得填充序列的项数为该两个数组的项数之和，任意一个伪项包含预设特征值与对应的预设权重值；基于所述填充序列形成合并数组，并将所述合并数组写入所述内存；采用不经意访问方式，从所述内存中读取最后一级数组合并得到的合并数组中除若干个伪项之外的项，并基于从该合并数组中读取的各项确定所述第一属性项的特征分位点。2.根据权利要求1所述的方法，其中，所述第一数组为对应的从节点对初始数组进行权重值合并、伪项填充后得到的；所述第一数组包含多个真实项和若干个伪项；所述从所述内存中分别读取具有设定项数的多个第一数组的步骤，包括：采用不经意访问方式，从所述内存中分别读取多个第一数组中的真实项；所述针对包含两个数组中各项的特征值集合，将其中值大小相同的特征值对应的权重值进行合并的步骤，包括：针对包含两个数组中各个真实项的特征值集合，将其中值大小相同的特征值对应的权重值进行合并。3.根据权利要求1所述的方法，所述针对包含两个数组中各项的特征值集合，将其中值大小相同的特征值对应的权重值进行合并的步骤，包括：从两个数组中分别读取各个项，对各个项进行解密；针对包含两个数组中解密后的各项的特征值集合，将其中值大小相同的特征值对应的权重值进行合并。4.根据权利要求1至3任一项所述的方法，所述将其中值大小相同的特征值对应的权重值进行合并的步骤，包括：将所述特征值集合中各项的特征值按照值大小进行排序，得到重新排序后的各项组成的初始序列；针对所述初始序列，将序列中值大小相同的特征值对应的权重值进行合并，得到合并序列。5.根据权利要求4所述的方法，所述将所述特征值集合中各项的特征值按照值大小进行排序的步骤，包括：采用不经意排序原语，将所述特征值集合中各项的特征值按照值大小进行排序。6.根据权利要求4所述的方法，所述将序列中值大小相同的特征值对应的权重值进行合并的步骤，包括：针对所述初始序列，基于不经意比较原语，比较序列中相邻特征值是否相同，并将值大
小相同的特征值对应的权重值进行合并。7.根据权利要求1所述的方法，所述基于所述填充序列形成合并数组的步骤，包括：将所述填充序列形成待剪枝数组，所述待剪枝数组的项数与所述填充序列的项数相同；基于所述待剪枝数组的项数与预设的最大项数的比较，对所述待剪枝数组进行剪枝操作，得到合并数组。8.根据权利要求7所述的方法，所述基于所述待剪枝数组的项数与预设的最大项数的比较，对所述待剪枝数组进行剪枝操作的步骤，包括：当所述待剪枝数组的项数不大于预设的最大项数时，直接将所述待剪枝数组作为所述合并数组；当所述待剪枝数组的项数大于所述最大项数，且所述待剪枝数组包含的真实项的项数不大于所述最大项数时，减少所述待剪枝数组包含的伪项数量，使得到的合并数组的项数等于所述最大项数；当所述待剪枝数组的项数大于所述最大项数，且所述待剪枝数组包含的真实项的项数大于所述最大项数时，删除所述待剪枝数组中的伪项，并将所述待剪枝数组中的真实项剪枝至项数为所述最大项数，得到合并数组。9.根据权利要求1所述的方法，所述按照预定的方式，针对所述多个第一数组进行逐级数组合并的步骤，包括：将所述多个第一数组作为倒树的第一级结点，按照倒树的形式对所述多个第一数组进行逐级数组合并；或者，将所述多个第一数组按顺序排序，按照排序从头至尾依次进行逐级数组合并。10.根据权利要求1所述的方法，所述采用不经意访问方式，从所述内存中读取最后一级数组合并得到的合并数组中除若干个伪项之外的项的步骤，包括：采用不经意读取原语，从所述内存中读取最后一级数组合并得到的合并数组中的所有项，从该所有项中确定除所述若干个伪项之外的项。11.根据权利要求1所述的方法，所述预设特征值取值为比所述样本集中样本的第一属性项的特征值大的值，所述预设权重值设置为0。12.根据权利要求11所述的方法，所述在所述合并序列中填充若干个伪项以得到填充序列的步骤，包括：若所述合并序列中的各个特征值已经按照值从小到大进行了排序，则在所述合并序列的尾部填充若干个伪项以得到填充序列。13.根据权利要求11所述的方法，所述在所述合并序列中填充若干个伪项以得到填充序列的步骤，包括：若所述合并序列中的各个特征值已经按照值从小到大进行了排序，则在所述合并序列的尾部填充若干个伪项；基于所述合并序列中除若干个伪项之外的每个真实项的权重值，确定该真实项中特征值的最大分位点和最小分位点；针对所述合并序列中的每个伪项，将预设值作为该伪项中特征值的最大分位点和最小分位点；
基于各个真实项和各个伪项包含的特征值、权重值以及对应的最大分位点和最小分位点，形成填充序列；所述基于从该合并数组中读取的各项确定所述第一属性项的特征分位点的步骤，包括：基于从该合并数组中读取的各项包含的特征值、权重值以及对应的最大分位点和最小分位点，确定所述第一属性项的特征分位点。14.一种分布式集群中的样本特征分位点确定装置，用于确定样本特征中第一属性项的特征分位点，所述分布式集群包括处于可信执行环境TEE中的主节点和多个从节点；所述装置部署在所述主节点的CPU中，所述...

【专利技术属性】
技术研发人员：张兴盟，余超凡，王磊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：