深度学习内部数据的提取方法及装置制造方法及图纸

本发明专利技术公开一种涉及深度学习模型的数据提取方法及装置。根据一实施例的深度学习模型，其数据提取方法包括：接收输入查询(input query)的步骤；确定第一决策边界集合的步骤，所述第一决策边界集合是与所述深度学习模型的目标层(target layer)相对应的决策边界(decision boundary)集合的子集；基于所述第一决策边界集合，提取包括所述输入查询的决策区域(decision region)的步骤；以及提取包括在所述决策区域的数据的步骤。在所述决策区域的数据的步骤。在所述决策区域的数据的步骤。

【技术实现步骤摘要】
【国外来华专利技术】深度学习内部数据的提取方法及装置


[0001]下面的实施例涉及深度学习模型的数据提取方法及装置。

技术介绍

[0002]机器学习技术(machine learning)是产生大量数据的大数据(big data)或物联网(internet of things；IoT)时代必不可少的核心技术。机器学习技术因其可以使各领域中迄今为止机器无法自动完成的任务实现自动化，有望产生非常大和广泛的连锁反应。特别是以深度学习(deep learning)为核心迅速发展的机器学习技术大大缩小了实际应用所需水平和实际人工智能技术之间的差距，因此备受关注。
[0003]深度学习是指基于深度神经网络(deep neural network)模型的机器学习技术。近年来，在计算机视觉、语音识别、自然语言处理等多个领域中，深度学习在提高识别性能方面发挥着重要作用，提高了人们对实际应用人工智能系统的期待。
[0004]然而，将深度学习应用于各个工业领域仍需解决几方面挑战。其中之一是分析深度学习模型中的内部元素。在做出重要决策(医疗处方、自动驾驶等)或改进已学习模型的性能时，可能需要对模型的内部元素进行分析。然而，由于构成深度学习模型的节点(隐藏层)和非线性函数(激活函数)数量众多，存在难以解释深度学习模型内如何处理和输出数据的问题。现有的深度学习分析技术过于模糊(例如可能呈现不正确的信息)，难以被人们所解释，并且仅存在针对特定模型的方法论，缺乏通用性。

技术实现思路

[0005]要解决的技术问题
[0006]实施例旨在提取在已学习的深度学习模型的内部共享相同信息的数据。
[0007]实施例旨在基于提取的数据，分析和改进已学习的深度学习模型。
[0008]实施例旨在确定共享相同信息的数据所分布的区域。
[0009]实施例旨在确定边界(boundary)，该边界用于确定共享相同信息的数据所分布的区域。
[0010]实施例旨在通过分析相同边界内生成的数据样本的同质性及异质性，来分析已学习的深度学习模型内部的一致性。
[0011]实施例旨在对缺乏一致性的深度学习，通过再学习等可选地改善性能及稳定性。
[0012]解决问题的技术方案
[0013]一种涉及深度学习模型的数据提取方法，所述数据提取方法包括：接收输入查询(input query)的步骤；确定第一决策边界集合的步骤，所述第一决策边界集合是与所述深度学习模型的目标层(target layer)相对应的决策边界(decision boundary)集合的子集；基于所述第一决策边界集合，提取包括所述输入查询的决策区域(decision region)的步骤；以及提取包括在所述决策区域的数据的步骤。
[0014]深度学习提取方法还可以包括基于所述提取的数据，使所述深度学习模型进行再
学习的步骤。
[0015]确定所述第一决策边界集合的步骤可以包括：确定包括在所述决策边界集合的决策边界的分布概率的步骤；以及基于所述决策边界的分布概率，确定所述第一决策边界集合的步骤。
[0016]基于所述决策边界的分布概率，确定所述第一决策边界集合的步骤可以包括：在所述决策边界中，将分布概率在阈值以上的决策边界确定为所述第一决策边界集合的步骤。
[0017]计算包括在所述决策边界集合的决策边界的布概率的步骤可以包括：确定所述决策边界的伯努利(Bernoulli)参数的步骤。
[0018]确定所述伯努利参数的步骤，可以包括：基于对应于所述目标层的损失函数，确定所述伯努利参数的步骤。
[0019]提取所述数据的步骤，可以包括：基于将所述决策区域作为限制(constraint)条件的RRT(Rapidly
‑
exploring Random Tree)算法来提取所述数据的步骤。
[0020]所述数据提取装置包括处理器，所述处理器接收输入查询(input query)；确定第一决策边界集合，所述第一决策边界集合是与所述深度学习模型的目标层(target layer)相对应的决策边界(decision boundary)集合的子集；基于所述第一决策边界集合，提取包括所述输入查询的决策区域(decision region)；以及提取包括在所述决策区域的数据。
[0021]所述处理器可以基于所述提取的数据，使所述深度学习模型进行再学习。
[0022]所述处理器可以确定包括在所述决策边界集合的决策边界的分布概率，并基于所述决策边界的分布概率确定所述第一决策边界集合。
[0023]所述处理器可以将所述决策边界中分布概率在阈值以上的决策边界确定为所述第一决策边界集合。
[0024]所述处理器可以确定所述决策边界的伯努利(Bernoulli)参数。
[0025]所述处理器可以基于对应于所述目标层的损失函数来确定所述伯努利参数。
[0026]所述处理器可以基于将所述决策区域作为限制(constraint)条件的快速扩展随机树(Rapidly
‑
exploring RandomTree，RRT)算法来提取所述数据。
[0027]专利技术效果
[0028]实施例可以提取在已学习的深度学习模型的内部共享相同信息的数据。
[0029]实施例可以基于提取的数据，分析和改进已学习的深度学习模型。
[0030]实施例可以确定共享相同信息的数据所分布的区域。
[0031]实施例可以确定边界(boundary)，该边界用于确定共享相同信息的数据所分布的区域。
[0032]实施例可以通过分析相同边界内生成的数据样本的同质性及异质性，来分析已学习的深度学习模型内部的一致性。
[0033]实施例可以对缺乏一致性的深度学习，通过再学习等可选地改善性能及稳定性。
附图说明
[0034]图1是说明根据一实施例的深度学习模型的数据提取方法的附图。
[0035]图2是说明根据一实施例的深度学习模型的数据提取方法的顺序图。
[0036]图3及图4是说明根据一实施例的第一决策边界的附图。
[0037]图5是说明根据一实施例的数据提取方法的附图。
[0038]图6是说明根据一实施例的分析及改进已学习的深度学习模型的方法的附图。
具体实施方式
[0039]本说明书公开的特定结构或功能仅作为示例来说明基于技术概念的实施例，实施例可具有不同形式，并不受限于本说明书中的实施例。
[0040]第一或第二等术语可用于说明多种构成要素，然而这些术语仅用于将一个构成要素区别于其他构成要素。例如，第一构成要素能够被命名为第二构成要素，类似地，第二构成要素同样能够被命名为第一构成要素。
[0041]当说明一个构成要素“连接”或者“接触”另一个构成要素时，能够是直接连接或接触其他构成要素，然而也能够理解为在它们之间存在其他构成要素。相反，当说明一个构成要素“直接连接”或“直接本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种涉及深度学习模型的数据提取方法，其特征在于，所述数据提取方法包括：接收输入查询的步骤；确定第一决策边界集合的步骤，所述第一决策边界集合是与所述深度学习模型的目标层相对应的决策边界集合的子集；基于所述第一决策边界集合，提取包括所述输入查询的决策区域的步骤；以及提取包括在所述决策区域的数据的步骤。2.根据权利要求1所述的数据提取方法，其特征在于，还包括基于所述提取的数据，使所述深度学习模型进行再学习的步骤。3.根据权利要求1所述的数据提取方法，其特征在于，确定所述第一决策边界集合的步骤，包括：确定包括在所述决策边界集合的决策边界的分布概率的步骤；以及基于所述决策边界的分布概率，确定所述第一决策边界集合的步骤。4.根据权利要求3所述的数据提取方法，其特征在于，基于所述决策边界的分布概率，确定所述第一决策边界集合的步骤，包括：将所述决策边界中分布概率在阈值以上的决策边界确定为所述第一决策边界集合的步骤。5.根据权利要求3所述的数据提取方法，其特征在于，计算包括在所述决策边界集合的决策边界的布概率的步骤，包括：确定所述决策边界的伯努利参数的步骤。6.根据权利要求5所述的数据提取方法，其特征在于，确定所述伯努利参数的步骤，包括：基于对应于所述目标层的损失函数来确定所述伯努利参数的步骤。7.根据权利要求1所述的数据提取方法，其特征在于，提取所述数据的步骤，包括：基于将所述决策区域作为限制条件的快速扩展随机树(...

【专利技术属性】
技术研发人员：崔宰植，丁海东，全起荣，
申请(专利权)人：人利智，
类型：发明
国别省市：