利用贝叶斯图探索自动构造神经网络架构制造技术

提供了一种用于自动构造人工神经网络架构的系统。该系统包括接口和数据链路的集合，其被配置为接收和发送信号，其中，所述信号包括训练数据、验证数据和测试数据的数据集，其中，所述信号包括多维信号X中的随机数因子集合，其中，部分随机数因子与标识的任务标签Y和滋扰变化S关联。该系统还包括存储体集合以存储可重配置深度神经网络(DNN)块集合、超参数、可训练变量、中间神经元信号以及包括前向传递信号和后向传递梯度的临时计算值。该系统还包括至少一个处理器，结合接口和存储体，其被配置为向可重配置DNN块提交信号和数据集，其中，所述至少一个处理器被配置为使用贝叶斯球算法执行贝叶斯图探索以重新配置DNN块，使得通过修改存储体中的超参数来修剪冗余链路以紧凑。该系统实现在半监督设置中能够迁移到新数据集的滋扰鲁棒变分贝叶斯推理。据集的滋扰鲁棒变分贝叶斯推理。据集的滋扰鲁棒变分贝叶斯推理。

【技术实现步骤摘要】
【国外来华专利技术】利用贝叶斯图探索自动构造神经网络架构


[0001]本专利技术涉及人工神经网络的自动构造系统，更具体地，涉及一种利用贝叶斯图探索的人工神经网络的自动构造系统。

技术介绍

[0002]基于深度神经网络(DNN)的深度学习技术的巨大进步解决了数据处理中的各种问题，包括视频、语音和图像的媒体信号处理、无线电波、电脉冲和光束的物理数据处理以及心率、温度和血压的生理数据处理。例如，DNN通过分析用户的生理数据(例如，脑电图(EEG)和肌电图(EMG))实现了人机接口(HMI)的更实际的设计。然而，这些生物信号高度受制于取决于各个受试者的生物状态的变化。因此，在典型HMI系统中常常需要频繁校准。
[0003]为了解决这一问题，已出现了采用条件变分自动编码器对抗训练(A
‑
CVAE)的受试者不变方法以减少用户校准，以用于实现成功的HMI系统。与标准DNN分类器相比，将编码器、滋扰条件解码器和对抗网络的附加功能块整合提供了优异的受试者不变性能。DNN结构可潜在地利用更多的功能块和更多的隐节点来扩展。然而，大多数工作依赖于人工设计来确定DNN的块连接性和架构。具体地，DNN技术常常由具有人类洞察的了解数据模型的专家手工制作。如何优化DNN的架构需要试误法。提出了自动机器学习(AutoML)的新框架以自动地探索不同的DNN架构。在AutoML的背景下超参数和架构探索的自动化可方便适合于受试者不变生物信号处理的DNN设计。
[0004]在机器学习中学习捕获任务相关特征但是对滋扰变化不变的数据表示仍是关键挑战。VAE引入了结合自动关联架构的变分贝叶斯推理方法，其中可联合地学习生成模型和推理模型。此方法利用引入可用于表示滋扰的调节变量的CVAE和考虑从隐表示解耦滋扰变量的正则化VAE进行了扩展。对抗概念随生成对抗网络(GAN)引入，并且已采用到无数应用中。同时发现的对抗学习推理(ALI)和双向GAN(BiGAN)提出了一种训练自动编码器的对抗方法。对抗训练也已与VAE组合以将隐表示正则化和解耦，从而实现滋扰鲁棒的学习。在称为AutoML的相关框架中已深入研究了利用超参数优化搜索DNN模型。自动化方法包括架构搜索、学习规则设计和扩充探索。大多数工作使用进化优化或强化学习框架来调节超参数或从预先选择的构建块构造网络架构。最近的AutoML
‑
Zero考虑扩展至排除从头开始进行全自动设计的人类知识和洞察。
[0005]然而，由于搜索空间爆炸，AutoML需要大量的探索时间来寻找最佳超参数。另外，在没有任何好的论证的情况下，链路连接的大多数搜索空间将毫无意义。因此，需要开发一种用于利用更系统的探索方法来自动构造神经网络的系统。

技术实现思路

[0006]技术问题
[0007]本公开涉及用于利用贝叶斯图探索自动构造人工神经网络的系统和方法。具体地，本专利技术的系统引入了称为AutoBayes的自动贝叶斯推理框架，其探索将分类器、编码器、
解码器、估计器和对抗网络块链接的不同图形模型以优化滋扰不变机器学习流水线。AutoBayes还允许证明解耦表示的合理性，其将隐变量分成多条以与受试者/会话变化和任务标签施加不同的关系。该框架应用于一系列生理数据集，其中我们在训练期间访问受试者和类标签，并且在有/无变分建模和对抗训练的情况下针对受试者迁移学习提供其能力分析。该框架也可有效地用于不同领域的数据集的半监督多类分类和重构任务。
[0008]本专利技术在现有先验下的核心非平凡成就在如下五个方面：
[0009]a.AutoBayes探索数据固有的潜在图形模型，而非探索DNN块的超参数。
[0010]b.AutoBayes基于探索的贝叶斯图提供如何连接多个DNN块的坚实理由，以针对任务分类器、特征编码器、解码器、滋扰指示器和对抗网络施加调节和对抗审查。
[0011]c.其提供了一种系统自动化框架以通过使用贝叶斯球(Bayes
‑
Ball)算法和有序因式分解来探索不同的推理模型。
[0012]d.该框架还可扩展至多个隐表示和多个滋扰因子。
[0013]e.除了全监督训练之外，AutoBayes可自动地构建一些适合于半监督学习的相关图形模型。
[0014]本公开的一些实施方式基于这样的认识：称为AutoBayes的新概念探索各种不同的贝叶斯图模型以方便搜索适合于滋扰鲁棒HMI系统的最佳推理策略。利用贝叶斯球算法，我们的方法可自动地构造分类器、编码器、解码器、滋扰估计器和对抗DNN块之间的合理链路连接。作为概念验证分析，我们针对各种神经/生理数据集证明了AutoBayes的益处。我们观察到最佳和最差图模型之间的巨大性能差距，意味着在没有图探索的情况下使用一个确定性模型可能遭受差的分类结果。另外，一个生理数据集的最佳模型对于不同的数据并不总是表现最佳，这鼓励我们使用AutoBayes来给定目标数据集进行自适应模型生成。一个实施方式扩展AutoBayes框架以整合AutoML，以优化各个DNN块的超参数。如何处理可能贝叶斯图的指数增长的搜索空间以及随机变量的数量还利用对因子图的置信传播分析来应对，以进行渐进边缘修剪/嫁接。
[0015]我们的专利技术使得AutoML能够高效地搜索有坚实的理论原因考虑的潜在架构。本专利技术的方法基于这样的认识：数据集利用有向贝叶斯图来假设建模，因此我们称为AutoBayes方法。一个实施方式使用联合概率分布的因式分解顺序不同的贝叶斯图探索。本专利技术还提供了一种基于通过贝叶斯图假设从Bayes Ball算法推导的条件独立性以修剪链路创建紧凑架构的方法。另一方法可优化似然性的因式分解顺序不同的推理图，这使得能够自动地构造联合生成和推理图。其在有/无条件链路的情况下基于VAE实现自然架构。另外，另一实施方式使用利用对抗网络的对抗训练，这些对抗网络附有独立于滋扰参数的隐变量，从而实现滋扰鲁棒特征提取。另一情况使用利用条件嫁接的故意冗余图，以促进滋扰鲁棒特征提取。另一实施方式使用变分采样进行半监督设置。另一实施方式提供一种方式来使用张量投影将一个数据结构变换为维数不匹配的另一数据结构。另一实施方式使用集成图，其组合多个不同贝叶斯图的估计以改进性能。一个实施方式使用动态注意网络来实现集成方法。另外还联合应对VAE的循环一致性和跨不同推理图的模型一致性。另一实施方式使用图神经网络来利用数据的几何信息，并且通过跨贝叶斯图的置信传播来辅助修剪策略以验证相关性。另外，通过整合AutoBayes和AutoML来调节各个DNN块的超参数。代替散度，还可使用Wasserstein距离。
[0016]该系统提供了一种方式的系统自动化框架，其搜索与非常适合于再现训练数据集的贝叶斯图模型关联的最佳推理图模型。所提出的系统通过在数据、类标签、受试者标识(ID)和固有隐表示方面对联合概率分布进行因式分解来自动地表述各种不同的贝叶斯图。给定贝叶斯图，通过贝叶斯球算法修剪冗余链路来生成一些有意义的推理图，以实现高准确度估计。为了促进对诸如受试者ID的滋扰参数的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于自动构造人工神经网络架构的系统，该系统包括：接口和数据链路集合，该接口和数据链路集合被配置为接收和发送信号，其中，所述信号包括训练数据、验证数据和测试数据的数据集，其中，所述信号包括多维信号X中的随机数因子集合，其中，所述随机数因子的一部分与标识的任务标签Y和滋扰变化S关联；存储体的集合，所述存储体的集合存储可重配置深度神经网络DNN块的集合，其中，所述可重配置DNN块被配置用于将所述多维信号X编码为多个隐变量Z，对所述隐变量Z进行解码以重构所述多维信号X，对所述任务标签Y进行分类，估计所述滋扰变化S，对抗估计所述滋扰变化S，或者选择图形模型，其中，所述存储体还包括超参数、可训练变量、中间神经元信号以及包括前向传递信号和后向传递梯度的临时计算值；至少一个处理器，结合接口和所述存储体，所述至少一个处理器被配置为向所述可重配置DNN块中提交所述信号和所述数据集，其中，所述至少一个处理器被配置为使用贝叶斯球算法执行贝叶斯图探索以重新配置所述DNN块，使得通过修改所述存储体中的所述超参数来修剪冗余链路以紧凑。2.根据权利要求1所述的系统，其中，至少一个处理器执行以下步骤：修改所述超参数以指定训练调度集合、所述可重配置DNN块的内部层集合和所述数据集底层的标准集合；创建全链有向贝叶斯图，该全链有向贝叶斯图被配置为将多个节点与图边缘链接并且根据所述标准集合按特定排列顺序关于所述多维信号X、所述任务标签Y、所述滋扰变化S和所述隐变量Z将图节点与所述随机数因子关联；根据指定假设贝叶斯图模型以表示所述数据集的随机行为的所述标准集合修剪所排列的全链贝叶斯图中的所述图边缘的特定组合；使用所述贝叶斯球算法列出所修剪的贝叶斯图中两个不相交节点之间的条件独立性关系；创建源自与数据信号X关联的节点的另一全链有向因子图以推断其它节点；根据独立性列表修剪全链因子图中的冗余链路，使得节点连接性紧凑；将修剪的贝叶斯图和修剪的因子图合并，使得生成模型和推理模型根据所述假设贝叶斯图模型而一致；将对抗可重配置DNN块附到独立于所述独立性列表中的一些滋扰变化S的一些隐节点Z；根据由所合并的因子图指定的链路连接性，利用多个链路为编码器、解码器、滋扰估计器和任务分类器指派其它可重配置DNN块以将多个数据级联以进行馈送；根据所指定的训练调度以变分采样和梯度方法训练利用连接的DNN块构造的所有所述可重配置DNN块以用于编码、解码、估计、分类、对抗估计和模型选择；使用模型选择器DNN基于所有所述可重配置DNN块针对所述验证数据的输出来选择图模型；根据所指定的调度重复上述执行；以及针对所述测试数据和要以滋扰鲁棒性迁移的运行中的新传入数据测试所训练的可重配置DNN块。3.根据权利要求2所述的系统，其中，对于具有等距正态分布作为其先验分布以用于参
数化技巧的所述隐变量，并且对于使用Gumbel softmax技巧基于随机数发生器和softmax温度生成近独热向量的未知滋扰变化和任务标签的分类变量，采用所述变分采样。4.根据权利要求2所述的系统，其中，链路级联还包括利用多个可训练线性滤波器的多维张量投影的步骤，以针对维度不匹配链路转换低维信号。5.根据权利要求2所述的系统，其中，所述模型选择还包括根据模型选择器DNN块以加权集成和选出假设图形模型的多个输出的步骤，该模型选择器DNN块考虑了编码器/解码器DNN块的模型共识、注意机制和循环一致性。6.根据权利要...

【专利技术属性】
技术研发人员：秋浓俊昭，王也，A，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：