一种通过数据增强估计神经网络不确定性的方法及系统技术方案

本发明专利技术提供一种通过数据增强估计神经网络不确定性的方法及系统，包括：从数据库中获取训练数据和测试数据；通过数据增强方法对训练数据和测试数据进行增强，分别获取增强训练数据和增强测试数据，所述测试数据针对同一样本增强后生成多个小组的增强测试数据；利用增强训练数据对神经网络模型进行训练，直至神经网络模型收敛；利用多个小组的增强测试数据对训练好的神经网络模型进行测试，输出多组测试结果；对每组测试结果求均值获取预测结果，对每组测试结果求方差获取模型不确定度。本发明专利技术解决现有神经网络预测不确定性难以准确评估的缺陷，实现对神经网络预测的不确定性进行准确估计。确估计。确估计。

【技术实现步骤摘要】
一种通过数据增强估计神经网络不确定性的方法及系统


[0001]本专利技术涉及神经网络训练
，尤其涉及一种通过数据增强估计神经网络不确定性的方法及系统。

技术介绍

[0002]神经网络模型(Neural Network Model)已经被广泛应用到众多领域，并且获得了巨大的成果。对于天气预报、医疗、自动驾驶等领域，个体样本的严重预测误差会导致重大损失，因此估计神经网络模型对于样本预测的不确定性是非常重要的技术。误差大的预测，往往其不确定性也高，因此通过准确地估计预测的不确定性，可避免采用误差大的预测。
[0003]样本预测结果的不确定性分为数据不确定性和模型不确定性，其中数据不确定性主要来源于样本本身是否来自训练数据集分布，而模型不确定性，主要来源于模型参数训练。贝叶斯神经网络模型通过学习模型参数分布，可以给出预测结果的分布，从而直接计算出预测结果的模型不确定度，是神经网络模型不确定性的理论基础。但是训练贝叶斯神经网络模型需要花费巨大的计算资源和时间，这限制了该技术的应用范围。
[0004]目前在实际应用中估计模型不确定性的主要方法是蒙特卡洛丢弃法和集成学习算法。蒙特卡洛丢弃法在设计网络结构时会添加一个或多个丢弃层，并使用训练集训练含有丢弃层的模型。测试时，区别于正常测试时关闭丢弃层，蒙特卡洛丢弃法会保持丢弃层的开启。对于一个测试样本，通过多次输入模型中获得多个预测结果。这些预测结果的方差可视为该样本预测的模型不确定度。为获得一个样本的模型不确定度，蒙特卡洛丢弃法必须保证模型中含有丢弃层，并不适用所有的神经网络模型。同时，测试时需要一个样本多次进入模型，或者一个样本输入多个模型副本。前者由于串行计算，需花费额外计算时间，后者使用多个模型副本，增加了存储空间的使用。集成学习算法针对一个问题，同时训练若干个相似的模型。在测试时，对于一个测试样本，同时进到这若干个模型中，由此获得多个预测结果，这些预测结果的方差可视为该样本预测的模型不确定度。集成学习算法训练阶段同时训练多个模型，大大增加了训练模型所使用的资源。并且测试时，也要花费额外的计算时间或额外的存储空间。

技术实现思路

[0005]本专利技术提供一种通过数据增强估计神经网络不确定性的方法及系统，用以解决现有神经网络预测不确定性难以准确评估的缺陷，实现对神经网络预测的不确定性进行准确估计。
[0006]本专利技术提供一种通过数据增强估计神经网络不确定性的方法，包括：
[0007]从数据库中获取训练数据和测试数据；
[0008]通过数据增强方法对训练数据和测试数据进行增强，分别获取增强训练数据和增强测试数据，所述测试数据针对同一样本增强后生成多个小组的增强测试数据；
[0009]利用增强训练数据对神经网络模型进行训练，直至神经网络模型收敛；
[0010]利用多个小组的增强测试数据对训练好的神经网络模型进行测试，输出多组测试结果；
[0011]对每组测试结果求均值获取预测结果，对每组测试结果求方差获取模型不确定度。
[0012]根据本专利技术提供的一种通过数据增强估计神经网络不确定性的方法，所述从数据库中获取训练数据和测试数据，具体包括：
[0013]所述训练数据和测试数据从公用数据库中获取，或个人提供相应数据集；
[0014]所述训练数据进行增强处理后对神经网络模型进行训练，所述测试数据进行增强处理后对神经网络模型进行测试验证。
[0015]根据本专利技术提供的一种通过数据增强估计神经网络不确定性的方法，所述通过数据增强方法对训练数据和测试数据进行增强，分别获取增强训练数据和增强测试数据，所述测试数据针对同一样本增强后生成多个小组的增强测试数据，具体包括：
[0016]选用叠加高斯噪声或旋转输入法对训练数据和测试数据进行增强；
[0017]对所述训练数据进行若干次增强获取多个增强训练数据；
[0018]对所述测试数据进行若干次增强获取多个增强测试数据。
[0019]根据本专利技术提供的一种通过数据增强估计神经网络不确定性的方法，所述利用增强训练数据对神经网络模型进行训练，直至神经网络模型收敛，具体包括：
[0020]将增强训练数据输入神经网络模型，对神经网络模型进行训练后判断神经网络模型是否收敛；
[0021]若神经网络模型收敛，则停止训练；
[0022]若神经网络模型不收敛，则利用训练数据，进行增强处理得到增强训练数据后再次对神经网络模型进行训练，直至神经网络模型收敛。
[0023]根据本专利技术提供的一种通过数据增强估计神经网络不确定性的方法，所述利用多个小组的增强测试数据对训练好的神经网络模型进行测试，输出多组测试结果，具体包括：
[0024]将增强测试数据录入训练好已收敛的神经网络模型；
[0025]所述神经网络模型根据输入的不同的测试数据，输出多组测试结果。
[0026]根据本专利技术提供的一种通过数据增强估计神经网络不确定性的方法，对每组测试结果求均值获取预测结果，对每组测试结果求方差获取模型不确定度，具体包括：
[0027]根据神经网络模型输出多组测试结果，对每组测试结果求取方差和均值；
[0028]将均值作为预测结果，将方差作为模型预测的不确定性。
[0029]本专利技术还提供一种通过数据增强估计神经网络不确定性的系统，所述系统包括：
[0030]数据获取模块，用于从数据库中获取训练数据和测试数据；
[0031]数据增强模块，用于通过数据增强方法对训练数据和测试数据进行增强，分别获取增强训练数据和增强测试数据；
[0032]训练模块，用于利用增强训练数据对神经网络模型进行训练，直至神经网络模型收敛；
[0033]测试模块，用于利用增强测试数据对训练好的神经网络模型进行测试，输出测试结果；
[0034]结果输出模块，用于对所述测试结果求均值获取预测结果，对测试结果求方差获
取模型不确定度。
[0035]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述通过数据增强估计神经网络不确定性方法。
[0036]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述通过数据增强估计神经网络不确定性方法。
[0037]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述通过数据增强估计神经网络不确定性方法。
[0038]本专利技术提供的一种通过数据增强估计神经网络不确定性的方法及系统，通过在训练时，使用选定的数据增强方法对训练数据进行增强，利用增强训练数据进行模型训练；在测试时，将样本进行同样的数据增强方法产生多个变体，通过模型产生多个预测结果，它们的方差即为模型不确定性。能够准确估计预测的神经网络模型不确定性，同时大大减少在测试时使用的计算时间和模型存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通过数据增强估计神经网络不确定性的方法，其特征在于，包括：从数据库中获取训练数据和测试数据；通过数据增强方法对训练数据和测试数据进行增强，分别获取增强训练数据和增强测试数据，所述测试数据针对同一样本增强后生成多个小组的增强测试数据；利用增强训练数据对神经网络模型进行训练，直至神经网络模型收敛；利用多个小组的增强测试数据对训练好的神经网络模型进行测试，输出多组测试结果；对每组测试结果求均值获取预测结果，对每组测试结果求方差获取模型不确定度。2.根据权利要求1所述的通过数据增强估计神经网络不确定性的方法，其特征在于，所述从数据库中获取训练数据和测试数据，具体包括：所述训练数据和测试数据从公用数据库中获取，或个人提供相应数据集；所述训练数据进行增强处理后对神经网络模型进行训练，所述测试数据进行增强处理后对神经网络模型进行测试验证。3.根据权利要求1所述的通过数据增强估计神经网络不确定性的方法，其特征在于，所述通过数据增强方法对训练数据和测试数据进行增强，分别获取增强训练数据和增强测试数据，所述测试数据针对同一样本增强后生成多个小组的增强测试数据，具体包括：选用叠加高斯噪声或旋转输入法对训练数据和测试数据进行增强；对所述训练数据进行若干次增强获取多个增强训练数据；对所述测试数据进行若干次增强获取多个增强测试数据。4.根据权利要求1所述的通过数据增强估计神经网络不确定性的方法，其特征在于，所述利用增强训练数据对神经网络模型进行训练，直至神经网络模型收敛，具体包括：将增强训练数据输入神经网络模型，对神经网络模型进行训练后判断神经网络模型是否收敛；若神经网络模型收敛，则停止训练；若神经网络模型不收敛，则利用训练数据，进行增强处理得到增强训练数据后再次对神经网络模型进行训练，直至神经网络模型收敛。5.根据权利要求...

【专利技术属性】
技术研发人员：赵颖，蒋文明，
申请(专利权)人：清华大学，
类型：发明
国别省市：