双层证据融合学习方法、分类评估方法及装置制造方法及图纸

本公开涉及机器学习技术领域，具体涉及一种证据深度学习模型的双层证据融合学习方法和装置、分类评估方法及装置。方法包括：获取包括多个样本对象的训练数据的多模态数据集，每个样本对象对应于多种模态的多个训练数据；针对所述多模态数据集使用证据深度学习模型，针对每个样本对象采用双层证据融合策略，获得所述样本对象的分类信度结果和分类不确定度结果；根据多个样本对象中每个样本对象的分类信度结果和真实类别标签，构造狄利克雷分布下的损失函数，对证据深度学习模型的模型参数进行调整，获得优化后的双层证据融合的证据深度学习模型。本公开综合考虑了模型泛化性和对不确定度的估计能力，提高了数据分类的准确性和置信度。信度。信度。

【技术实现步骤摘要】
双层证据融合学习方法、分类评估方法及装置


[0001]本公开涉及机器学习
，具体涉及一种证据深度学习模型的双层证据融合学习方法和装置、分类评估方法及装置。

技术介绍

[0002]在现实应用场景中，信息通常以多种模态的形式同时存在，以从不同的角度描述同一事物。近年来，多模态学习方法已经在各种应用中取得了成功，这些方法通常将来自不同模态的信息与深度神经网络(Deep Neural Network，DNN)相结合。但是在多模态信息进行融合时，传统方法通常假定不同样本的模态信息具有相同的重要性，即为每个模态设定一个固定的权重因子。然而，多模态深度神经网络DNN学习具有贪婪性，模型对各模态利用不平衡，会阻止多模态深度神经网络DNN学习利用所有样本的可用模态信息，导致较差的泛化性。除此之外，现有的多模态学习方法往往忽略了模型的不确定度，导致预测结果不可靠，尤其是在某个模态的信息缺失或具有较大噪声时(例如传感器异常)。而在涉及人类安全的关键应用中(如医疗影像分类和自动驾驶)，低可靠性的预测会对模型部署产生重大影响。
[0003]现有不确定度估计的算法通常聚焦于单模态数据，证据深度学习(Evidential Deep Learning，EDL)已成为不确定度估计的重要分支。近年来，已有研究将该方法拓展至多模态情形，但仍未考虑不同样本不同模态的信息质量不一的情况，采用单一的信度分配方法，导致模型泛化性能和对不确定度的估计能力存在限制。需要探索新的方法。

技术实现思路

[0004]为了解决相关技术中的问题，本公开实施例提供一种证据深度学习模型的双层证据融合学习方法和装置、分类评估方法及装置。
[0005]第一方面，本公开实施例中提供了一种证据深度学习模型的双层证据融合学习方法，包括：
[0006]获取多模态数据集，所述多模态数据集包括多个样本对象的训练数据，其中，每个样本对象对应于多种模态的多个训练数据；
[0007]针对所述多模态数据集使用证据深度学习模型，基于所述多个样本对象的训练数据得到所述多个样本对象的分类信度结果和分类不确定度结果，包括针对每个样本对象采用双层证据融合策略，获得所述样本对象的分类信度结果和分类不确定度结果；
[0008]根据所述多个样本对象的分类信度结果和所述多个样本对象的真实类别标签，构造狄利克雷分布下的损失函数，对所述证据深度学习模型的模型参数进行调整，获得优化后的双层证据融合的证据深度学习模型。
[0009]第二方面，本公开实施例中提供了一种基于双层证据融合的证据深度学习模型的分类评估方法，包括：
[0010]获取待分类对象的多模态数据；
[0011]针对所述多模态数据中的每种模态，将所述模态的数据输入已训练的证据深度学习模型中对应该模态数据的深度神经网络DNN进行学习，将所述深度神经网络DNN的输出层激活函数设为线性激活函数，获得对应的初始深度学习证据向量；采用不同的信度分配方法分别对所述初始深度学习证据向量进行重分配，获得对应的多个重分配深度学习证据向量；将所述多个重分配深度学习证据向量映射为狄利克雷分布参数，获得对应的多个主观逻辑SL证据向量的信度结果和不确定度结果，利用Dempster
‑
Shafer证据融合规则对所述多种主观逻辑SL证据向量的信度结果和不确定度结果进行融合，获得所述模态下的第一层分类证据向量的信度结果和不确定度结果；
[0012]利用Dempster
‑
Shafer证据融合规则对所述多种模态的第一层分类证据向量的信度结果和不确定度结果进行融合，获得第二层分类证据向量的信度结果和不确定度结果；
[0013]根据所述第二层分类证据向量的信度结果和不确定度结果得到第二层分类证据向量，并将所述第二层分类证据向量映射为狄利克雷分布参数，输出所述待分类对象的分类信度结果和分类不确定度结果。
[0014]第三方面，本公开实施例中提供了一种证据深度学习模型的双层证据融合学习装置，包括：
[0015]第一获取模块，获取多模态数据集，所述多模态数据集包括多个样本对象的训练数据，其中，每个样本对象对应于多种模态的多个训练数据；
[0016]双层证据融合模块，被配置为针对所述多模态数据集使用证据深度学习模型，基于所述多个样本对象的训练数据得到所述多个样本对象的分类信度结果和分类不确定度结果，包括针对每个样本对象采用双层证据融合策略，获得所述样本对象的分类信度结果和分类不确定度结果；
[0017]训练模块，被配置为根据所述多个样本对象的分类信度结果和所述多个样本对象的真实类别标签，构造狄利克雷分布下的损失函数，对所述证据深度学习模型的模型参数进行调整，获得优化后的双层证据融合的证据深度学习模型。
[0018]第四方面，本公开实施例中提供了一种基于双层证据融合的证据深度学习模型的分类评估装置，包括：
[0019]第二获取模块，被配置为获取待分类对象的多模态数据；
[0020]第一层融合模块，被配置为针对所述多模态数据中的每种模态，将所述模态的数据输入已训练的证据深度学习模型中对应该模态数据的深度神经网络DNN进行学习，将所述深度神经网络DNN的输出层激活函数设为线性激活函数，获得对应的初始深度学习证据向量；采用不同的信度分配方法分别对所述初始深度学习证据向量进行重分配，获得对应的多个重分配深度学习证据向量；将所述多个重分配深度学习证据向量映射为狄利克雷分布参数，获得对应的多个主观逻辑SL证据向量的信度结果和不确定度结果，利用Dempster
‑
Shafer证据融合规则对所述多种主观逻辑SL证据向量的信度结果和不确定度结果进行融合，获得所述模态下的第一层分类证据向量的信度结果和不确定度结果；
[0021]第二层融合模块，利用Dempster
‑
Shafer证据融合规则对所述多种模态的第一层分类证据向量的信度结果和不确定度结果进行融合，获得第二层分类证据向量的信度结果和不确定度结果；
[0022]分类评估模块，被配置为根据所述第二层分类证据向量的信度结果和不确定度结
果得到第二层分类证据向量，并将所述第二层分类证据向量映射为狄利克雷分布参数，输出所述待分类对象的分类信度结果和分类不确定度结果。
[0023]第五方面，本公开实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器存储有计算机指令，其中，所述计算机指令被所述处理器执行以实现如第一方面和第二方面任一项所述的方法。
[0024]第六方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面和第二方面任一项所述的方法。
[0025]根据本公开实施例提供的技术方案，通过获取包括多个样本对象的训练数据的多模态数据集，每个样本对象对应于多种模态的多个训练数据；针对多模态数据集使用证据深度学习模型，基于多个样本对象的训练数据得到多个样本对象的分类信度结果和分类不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种证据深度学习模型的双层证据融合学习方法，其特征在于，包括：获取多模态数据集，所述多模态数据集包括多个样本对象的训练数据，其中，每个样本对象对应于多种模态的多个训练数据；针对所述多模态数据集使用证据深度学习模型，基于所述多个样本对象的训练数据得到所述多个样本对象的分类信度结果和分类不确定度结果，包括针对每个样本对象采用双层证据融合策略，获得所述样本对象的分类信度结果和分类不确定度结果；根据所述多个样本对象的分类信度结果和所述多个样本对象的真实类别标签，构造狄利克雷分布下的损失函数，对所述证据深度学习模型的模型参数进行调整，获得优化后的双层证据融合的证据深度学习模型。2.根据权利要求1所述的方法，其特征在于，所述双层证据融合策略包括：针对所述样本对象的每种模态，将所述模态的训练数据输入所述证据深度学习模型中对应的深度神经网络DNN进行学习，将所述深度神经网络DNN的输出层激活函数设为线性激活函数，获得对应的初始深度学习证据向量；采用不同的信度分配方法分别对所述初始深度学习证据向量进行重分配，获得对应的多个重分配深度学习证据向量；将所述多个重分配深度学习证据向量映射为狄利克雷分布参数，获得对应的多个主观逻辑SL证据向量的信度结果和不确定度结果，利用Dempster
‑
Shafer证据融合规则对所述多种主观逻辑SL证据向量的信度结果和不确定度结果进行融合，获得所述模态下的第一层分类证据向量的信度结果和不确定度结果；利用Dempster
‑
Shafer证据融合规则对所述多种模态下的第一层分类证据向量的信度结果和不确定度结果进行融合，获得第二层分类证据向量的信度结果和不确定度结果；所述针对每个样本对象采用双层证据融合策略，获得所述样本对象的分类信度结果和分类不确定度结果，包括：根据所述第二层分类证据向量的信度结果和不确定度结果得到第二层分类证据向量，并将所述第二层分类证据向量映射为狄利克雷分布参数，获得所述样本对象的分类信度结果和分类不确定度结果。3.根据权利要求2所述的方法，其特征在于，所述多模态数据集具有N个样本对象，所述N个样本对象具有C个类别和V个模态，第n个样本对象的真实标签为所述第n个样本对象的真实标签表征所述第n个样本对象的类别，第n个样本对象的第v个模态的表征张量为其中，v∈{1,2,3,...V}，n∈{1,2,3,...N}。4.根据权利要求3所述的方法，其特征在于，所述针对每种模态，将所述模态的训练数据输入所述证据深度学习模型中对应的深度神经网络DNN进行学习，将所述深度神经网络DNN的输出层激活函数设为线性激活函数，获得对应的初始深度学习证据向量，包括利用如下公式获得对应的初始深度学习证据向量：下公式获得对应的初始深度学习证据向量：其中，表示第n个样本对象的第v个模态下的初始深度学习证据向量，表示第v个
模态下对应的深度神经网络DNN的网络参数，f
v
表示第v个模态下对应的深度神经网络DNN的前向传播函数，R
C
表示数据维度为C的实数集。5.根据权利要求4所述的方法，其特征在于，所述不同的信度分配方法是利用R
C
到间任意不同的映射函数对数据进行映射的方法，表示数据维度为C的非负实数集；所述采用不同的信度分配方法分别对所述初始深度学习证据向量进行重分配，获得对应的多个重分配深度学习证据向量，包括利用如下公式对所述初始深度学习证据向量进行一次重分配，获得所述多个重分配深度学习证据向量中的第一重分配深度学习证据向量：一次重分配，获得所述多个重分配深度学习证据向量中的第一重分配深度学习证据向量：一次重分配，获得所述多个重分配深度学习证据向量中的第一重分配深度学习证据向量：其中，表示中任一元素，表示第n个样本对象的第v个模态下多个重分配深度学习证据向量中的第一重分配深度学习证据向量，表示中第c个元素，表示第n个样本对象的第v个模态下的初始深度学习证据总量，表示中第c个元素，softmax()表示softmax函数，e
()
表示以e为底的指数函数。6.根据权利要求4所述的方法，其特征在于，所述不同的信度分配方法是利用R
C
到间任意不同的映射函数对数据进行映射的方法，表示数据维度为C的非负实数集；所述采用不同的信度分配方法分别对所述初始深度学习证据向量进行重分配，获得对应的多个重分配深度学习证据向量，包括利用如下公式对所述初始深度学习证据向量进行一次重分配，获得所述多个重分配深度学习证据向量中的第二重分配深度学习证据向量：一次重分配，获得所述多个重分配深度学习证据向量中的第二重分配深度学习证据向量：其中，表示第n个样本对象的第v个模态下的第二重分配深度学习证据向量，表示中第c个元素，表示中第c个元素，ReLU()表示ReLU函数。7.根据权利要求4所述的方法，其特征在于，所述将所述多个重分配深度学习证据向量映射为狄利克雷分布参数，获得对应的多个主观逻辑SL证据向量的信度结果和不确定度结果，包括：利用如下公式获得狄利克雷分布参数：其中，表示第n个样本对象的第v个模态下的第k重分配深度学习证据向量，表示第k重分配深度学习证据向量对应的狄利克雷分布参数；构建狄利克雷分布为：
其中，B()表示Beta分布的概率密度函数，表示分类概率向量，p
i
表示中任一元素，Dir()表示狄利克雷分布的概率密度函数，表示Dir()的狄利克雷分布参数，T
C
表示C维单纯形；然后根据所述狄利克雷分布及狄利克雷分布参数，并利用如下公式获得对应的多个主观逻辑SL证据向量的信度结果和不确定度结果：观逻辑SL证据向量的信度结果和不确定度结果：观逻辑SL证据向量的信度结果和不确定度结果：观逻辑SL证据向量的信度结果和不确定度结果：其中，表示第k重分配深度学习证据向量对应的狄利克雷分布强度，表示第n个样本对象的第v个模态下的第k个主观逻辑SL证据向量，表示的信度结果，表示的不确定度结果，k∈{1,2,3,...K}，K表示所采用的信度分配方法的个数。8.根据权利要求7所述的方法，其特征在于，所述利用Dempster
‑
Shafer证据融合规则对所述多种主观逻辑SL证据向量进行融合，包括利用如下公式进行融合：对所述多种主观逻辑SL证据向量进行融合，包括利用如下公式进行融合：其中，表示第n个样本对象的V个模态下的第一层分类证据向量的信度结果，表示第n个样本对象的V模态下的第一层分类证据向量的不确定度结果；表示基于Dempster
‑
Shafer证据融合规则的运算，其运算规则如下：Shafer证据融合规则的...

【专利技术属性】
技术研发人员：邵志敏，窦维蓓，
申请(专利权)人：清华大学，
类型：发明
国别省市：