通过本地网的自动模型维护制造技术

本发明专利技术提供了一个模型维护方法。如果当前通过用新数据进行查询的预测精度被确定低于预定阈值，那么通过为当前模型补充一个用新数据训练的本地网来形成一个复合模型。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本申请涉及系统建模。本申请尤其涉及自动模型维护。
技术介绍
系统模型定义了从输入空间到系统行为空间的映射。换言之，模型描述了针对所选输入的系统行为。模型可以用来例如完成建模到的系统的预测分析，而不必运行该系统。系统模型的参数可以从一组训练数据(“训练集”)中得出，或者通过用这组训练数据训练来形成。当受训模型运行(通常也称为“查询”(consultation))时，模型的精度会影响结果的质量，并且很大程度上取决于训练集。理论上，训练集在所有情况下都代表了系统。利用训练集形成(或训练)了系统模型后，一般还随着时间的推移从系统中收集新数据点。新数据点包括收集新数据时基本系统的特征，这些特征自从针对该训练集从系统中收集数据时刻以来可能有变化也可能不变。这些新数据点可能包括了在用于建立原始模型的训练集中所没有表现出的特征。即使用于计算模型参数的训练集代表了系统并且该模型是训练集的精确表示，该模型也可能只在收集训练集中的数据的时候才代表该系统行为。因此，需要利用最新可用数据点来更新模型。在某些情况下，系统行为动态发生变化，并且系统的基本动态特性(dynamics)可能不容易预测。例如，在收集了训练集的数据后，系统动态特性可能发生变化(图1A)。另一方面或者此外，训练集可能只体现部分的系统行为(图1B)。在这两种情况下，系统模型可能(i)在一段时间内能很好地完成任务而在这段时间后却不能很好地完成任务；或(ii)有时能很好地完成任务而有时却不能。在图1A所示的情况下，最新可用数据占用了与原始数据相同的输入空间的区域。然而，系统动态特性已从X变为X’，这使得与新数据输入相应的新系统输出不同于与原始数据输入相应的系统输出。然而，当用新输入数据查询时，一个用原始数据训练的常规系统模型通常产生一些在老系统动态特性X之下是适当的但不能精确表示新系统动态特性X’的输出值。在图1B所示的情况下，最新可用数据占用了与原始数据所占区域不同的输入空间的区域。系统动态特性X由Xo和Xn两部分构成。受训模型只捕获了系统动态特性的Xo部分。尽管系统动态特性X仍然一样，但新数据点的模型性能可能无法接受。在系统模型形成(或训练)之后，一般不断地收集新(输入和输出)数据点。该模型可以用所收集数据的测试组查询(并且将与测试组相应的模型输出与实际系统响应相比较)，以检测出模型预测与实际系统响应之间的明显差异，并判断模型的任何不良性能是模型的反常行为(例如坏的传感器)还是机能不全(失效)。尽管在某些情况下失效模型可以用利用最新可用数据所建立(或训练)的新模型来代替，然而，重新训练通常是一项耗费巨大的工作，并且需要很长的一段时间(通过处理所有新数据点或许还要与以前的训练数据相结合才能建立新模型)，这种情况尤其对于实时应用来说甚至可能是禁止的。需要能逐步地将最新可用数据引入到现有模型中(即对现有模型进行维护)，以延长模型的使用寿命。从长远观点来看，系统模型的有效维护通常是维护适当性能的关键问题。此外，模型维护不同于例行过程(比如，汽车换油)。换油的任务以及如何完成这些任务是清楚知道的。相反，模型维护中所要改变的模型参数以及如何改变这些参数一般不好确定(对于神经网模型而言尤其如此)。神经网是形成具有陌生动态特性的系统的模型的有利方法，这是因为，神经网可以是一个通用的近似网络，因此神经网模型可以在广泛的应用范围内得到使用。然而，神经网具有黑盒子性质，也就是说，神经网模型中的参数的函数不易识别，这使得神经网的模型维护很困难。神经网模型的维护方法通常称为“自适应学习”。尽管通过修改现有神经网模型的权重和结构可以进行自适应学习，然而，取决于与用于形成原始神经网模型的训练数据的特征相比较的新数据的特征，可能导致某些不想要的副作用。例如，一个用于利用新数据调节受训神经网模型的参数的技术是采用具有低学习率和/或少数迭代的反向传播。这种自适应学习技术最适合于隐层网络结构。然而，难以确定适当的学习率值和/或适当的迭代次数。如果，这些值太小，相应的变化量不足以调节模型行为。如果这些值太大，得到的模型会丢失其以前训练数据的存储(例如通过先前训练数据学习的)，这只有在系统动态特性变化很大的情况下才可以接受。然而，如果新数据点只与系统行为的与收集原始数据的第二模式不同的第一方式相应，尤其如果第二方式是主模式(dominantmode)的话，那么存储丢失是致命的。
技术实现思路
本申请提供了一个模型维护方法。在一个实施方式中，该方法包括确定通过与新数据查询的系统模型的预测精度低于预定阈值；和通过为该系统模型补充一个用新数据训练的本地网来形成一个复合模型。本地网可以具有与新数据相应的相关有效数据空间。可对新数据运用群集或决策树技术，以确定与该本地网相关的一个或多个数据空间范围。如果数据点在本地网的相关有效数据空间内，那么使本地网与该数据点查询，并返回与本地网查询的结果。如果该数据点不在本地网的相关有效数据空间内，那么用该数据点查询系统模型，并返回与系统模型查询的结果。如果通过与附加新数据查询的复合模型的预测精度低于预定阈值，那么通过为原始复合模型补充一个通过附加新数据所形成的第二本地网来形成一个更新复合模型。如果数据点在第二本地网的有效数据空间内，那么使第二本地网与该数据点查询，并返回与第二本地网查询的结果。如果该数据点不在第二本地网的有效数据空间内而在第一本地网的有效数据空间内，那么用该数据点查询第一本地网，并返回查询第一本地网的结果。如果该数据点不在第二本地网的有效数据空间内又不在第一本地网的有效数据空间内，那么用该数据点查询系统模型，并返回与系统模型查询的结果。当更多的数据点可用时，如果当前模型的性能退化，那么可以逐渐增加附加本地网以保持模型的质量性能。用于更新模型的数据收集可以自动进行。根据一个实施方式，在用新数据点查询当前模型时确定模型预测的误差，并且，如果与模型与新数据点的查询相应的误差不低于数据收集阈值，则将该新数据点加到新训练集中。当与模型与新数据点的查询相应的误差高于模型更新阈值时，利用新训练集建立一个新本地网(并通过为模型补充该新本地网来更新当前模型)。此外，当新训练集中的数据点数达到某一最大个数时，还可以通过该新训练集建立新本地网。根据另一个实施方式，除非新训练集中的数据点个数大于等于某一最小个数，否则，不用新训练集来建立新本地网。在利用新训练集来建立新本地网之前，可以从新训练集中去掉局外点(outlier)。根据另一个实施方式，一个模型维护方法包括确定当前模型的精度低于预定阈值；收集用于自适应更新当前模型的数据；和通过为当前模型补充一个用所收集数据训练的本地网来形成一个复合模型。本公开还提供了系统的一个复合模型。根据一个实施方式，复合模型包括当前模型以及至少一个具有相关有效数据空间的本地网。如果数据点在本地网的相关有效数据空间内，那么使本地网与该数据点查询，并返回与本地网查询的结果。如果该数据点不在本地网的相关有效数据空间内，那么使当前模型与该数据点查询，并返回与当前模型查询的结果。在一个以上本地网的情况下，按形成的倒序来测试每个本地网的相关数据空间，以识别哪个网络具有包含该数据点的相关数据空间。然后，使具有包含该数据点的相关数据空间的网络进行查询，并本文档来自技高网...

【技术保护点】
一种模型维护方法，包括：确定系统模型通过用新数据进行查询的预测精度低于预定阈值；和通过为该系统模型补充一个用新数据训练的本地网来形成一个复合模型。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：孟卓音译，鲍约翰音译，段保福音译，
申请(专利权)人：计算机联合思想公司，
类型：发明
国别省市：US[美国]