【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及人工神经网络的自动化学习系统，并且更具体地涉及基于具有不规则信念的随机神经网络的自动化贝叶斯推断系统。
技术介绍
1、基于深度神经网络(deep neural network，dnn)的深度学习技术的巨大进步已经解决了数据处理中的各种问题，包括：用于视频、讲话和图像的媒体信号处理；用于无线电波、电子脉冲和光束的物理数据处理；以及用于心率、温度和血压的生理数据处理。然而，dnn架构通常由来自知道固有数据模型和结构的专家的洞察来手工制作。如何优化dnn的架构需要时间/资源消耗的试错方法。自动化机器学习(automl)的框架被用于自动探索不同的dnn架构以解决问题。超参数和架构探索在automl的上下文中的自动化可以促进适合于特定数据处理的dnn设计。automl包括架构搜索、学习规则设计和增强探索。大多数automl方法使用进化优化、超梯度或强化学习框架来调整超参数或从构建块的预先选择的选择构建网络架构。最近的automl-zero考虑扩展以从头开始排除专家对全自动化设计的知识和洞察。
2、捕获任务相关特征但对妨害变分不变的学习数据表示仍然是机器学习中的关键挑战。一种结合自动关联架构的随机dnn级联变分自动编码器(variational autoencoder，vae)引入的变分贝叶斯推断方法，其中，通过使用一对解码器架构和编码器架构来联合学习生成和推断模型。该方法扩展有条件vae和正则化vae，条件vae引入了可以被用于表示妨害(nuisance)的条件变量，正则化vae考虑了从潜在表示中清理(disen
3、对于贝叶斯推断，vae配置有参数编码器和解码器以学习变分推断(vi)框架内的作为数据的基础的潜在变量。存在这种随机dnn的许多变体。例如，β-vae使用强调的kullback-leibler散度(kld)来比典型的基于证据下限(evidence-lower bound，elbo)的损失更强地正则化潜在分布。研究连续伯努利(bernoulli)和β分布作为数据重构模型的替代似然信念。拉普拉斯(laplace)分布和柯西(cauchy)分布被认为是稀疏潜在表示的替代先验信念。通过逆自回归流(inverse autoregressive flow，iaf)、重要性-加权自动编码器(importance-weighted autoencoder，iwae)和吉布斯(gibbs)采样来调整正态后验信念。iwae基于瑞丽的α散度被进一步扩展到变分瑞丽(variational renyi，vr)。然后，广义vi(gvi)讨论任何任意损失选择、散度和后验选择。并且，当不指定数据统计时，它显示了利用不同差异度量而不是kld的更高鲁棒性。
4、虽然广义vae提供了大自由度，但是除了其它架构超参数之外，它又难以设计那些选择。当没有指定固有模型来捕获数据统计和概率不确定性时，不存在设计变分贝叶斯推断和随机dnn的框架。例如，包括vae、变分信息瓶颈(variational informationbottleneck，vib)和去噪扩散概率模型(denoising diffusion probabilisitc model，ddpm)的随机dnn通常基于正态分布对潜在表示使用同构统计。正态分布在计算上是方便的，因为简单的采样、重参数化技巧和闭合形式的散度表达式对于梯度计算是可能的。然而，当预先不知道作为真实数据集的基础的统计时，正态分布通常不再是最优的。
5、然而，automl的缺点在于，由于搜索空间激增，其需要大量探索时间来找到最佳超参数。此外，在没有任何良好推断的情况下，链路连接的大多数搜索空间将是无意义的。为了开发一种用于自动构建具有合理性的人工神经网络的系统，提出了一种称为autobayes的方法。autobayes方法利用不同的贝叶斯图来表示用于生成模型的随机变量之间的固有图形关系，并且随后构造最合理的推断图以连接编码器、解码器、分类器、回归器、对手和估计器。通过使用所谓的贝叶斯球算法，可以自动构建用于特定贝叶斯图的最紧凑的推断图，并且一些因子被识别为要由对抗块审查的域因子的变量独立性。验证了从特征空间清理妨害因子的对抗审查(adversarial censoring)对于拍摄前迁移学习中的域广义化和拍摄后迁移学习中的域自适应是有效的。然而，对抗训练需要仔细选择超参数，因为太强的审查将损害主要任务性能，因为主要目标函数相对欠加权。此外，对抗审查不是促进与特征空间中的妨害变量的独立性的唯一正则化方法。
6、因此，需要高效地识别取决于特定问题和数据集的随机dnn的最佳概率模型。
技术实现思路
1、本专利技术基于以下认识：随机深度神经网络(dnn)使用特定概率模型，并且施加许多不同的概率模型，包括正态分布、拉普拉斯分布、柯西分布、逻辑分布、耿贝尔(gumbel)分布、学生-t(student-t)分布、均匀分布、指数分布和超指数分布，而作为真实世界数据集的基础的真实概率模型通常是未知的。另外，表示潜在变量和数据随机以及相关性度量(诸如广义变分推断(gvi)中的散度度量)的可能性不受限制。例如，没有正式框架来确定从包括kullback-leibler散度(kld)、瑞丽的α散度、β散度、γ散度、詹森-香农(jensen-shannon)散度、杰弗里(jeffery)散度和费舍尔散度的无限可能性中选择什么差异度量，以正则化dnn中的随机节点。此外，通常也不指定识别似然信念的数据不确定性。例如，正态分布通常被用于最小化回归问题的加权均方误差(mean-square error，mse)，并且伯努利分布通常用于最小化二进制交叉熵作为近二进制像素图像的重构损失。
2、本专利技术使得随机dnn能够通过使用automl框架来高效地识别数据统计和不确定性模型，以更好地组合先验信念、后验信念和似然信念以及差异度量。这提供了超出dnn架构(诸如层大小、节点大小、激活类型和dnn的链路连接性)的自动化构建的益处。具体地，本专利技术提供了一种在常规架构超参数之上搜索随机模型的不规则组合的方式。一些实施方式允许随机dnn施加不匹配的后验信念和先验信念对，以增加在未指定模型不确定性下用于建模能力的自由度。又一实施方式提供了一种朝向不同隐藏节点和隐藏层处的后验信念和先验信念的异构对概括随机dnn的方式。以这种方式，可以实现更鲁棒和复杂的潜在表示。此外，本专利技术提供了一种自动搜索各个随机节点的差异度量的不规则指派、不匹配指派本文档来自技高网...
【技术保护点】
1.一种用于信号分析的系统，所述系统包括：
2.根据权利要求1所述的系统，其中，所述随机DNN块包括变分自动编码器、变分信息瓶颈、去噪扩散概率模型和变分贝叶斯神经网络的变体，其中，所述随机DNN块配置有以下的组合：
3.根据权利要求1所述的系统，其中，所述变分采样基于根据包括由所述不规则信念集合指定的位置、尺度、形状和温度的变分参数集合的重参数化技巧使用随机数生成器。
4.根据权利要求1所述的系统，其中，所述差异度量集合包括瑞丽的α散度、β散度、γ散度、费舍尔散度、杰弗里散度及其变体的组合。
5.根据权利要求1所述的系统，其中，所述超参数集合包括：
6.根据权利要求1所述的系统，其中，所述不规则信念集合包括以下各项的不匹配或异构组合：
7.根据权利要求1所述的系统，其中，所述数据集集合包括以下各项的组合：
8.根据权利要求1所述的系统，其中，所述处理器还执行以下步骤：
9.根据权利要求8所述的系统，其中，所述损失函数是变分瑞丽边界、证据下限、均方误差、交叉熵、结构相似性、余弦相似性、负
10.根据权利要求8所述的系统，其中，所述梯度方法采用随机梯度下降、自适应动量、Ada梯度、Ada边界、涅斯捷罗夫加速梯度、均方根传播及其变体的组合。
11.根据权利要求8所述的系统，其中，所述处理器还执行通过使用超梯度方法来探索所述存储体中的所述不规则信念集合和所述超参数集合的不同值的步骤，其中，所述超梯度方法采用强化学习、隐式梯度、进化策略、差分进化、粒子群、遗传算法、模拟退火、贝叶斯优化及其变体的组合。
12.根据权利要求1所述的系统，其中，所述随机DNN块针对一个层内的随机节点的至少两个不相交集合使用不同信念的异构分配。
13.根据权利要求1所述的系统，其中，所述随机DNN块针对至少一个随机节点集合使用不匹配的后验信念和先验信念对。
14.根据权利要求1所述的系统，其中，当分析新的可用数据集集合时，所述不规则信念集合被即时修改以在所述随机DNN块中的所述随机节点集合处针对所述变分采样使用不同的概率分布。
15.一种用于数据分析的计算机实现的方法，所述计算机实现的方法包括以下步骤：
16.根据权利要求15所述的方法，其中，所述随机DNN包括变分自动编码器、变分信息瓶颈、去噪扩散概率模型和变分贝叶斯神经网络的变体，其中，所述随机DNN配置有以下的组合：
17.根据权利要求15所述的方法，其中，所述变分采样基于根据包括由所述不规则信念集合指定的位置、尺度、形状和温度的变分参数集合的重参数化技巧使用随机数生成器，其中，所述不规则信念集合包括以下各项的不匹配或异构组合：
18.根据权利要求15所述的方法，所述方法还包括以下步骤：
19.根据权利要求18所述的方法，其中，所述差异度量集合包括瑞丽的α散度、β散度、γ散度、费舍尔散度、杰弗里散度及其变体的组合，其中，所述损失函数是变分瑞丽边界、证据下限、均方误差、交叉熵、结构相似性、余弦相似性、负对数似然、绝对误差、互协方差、聚类损失、散度、铰链损失、Huber损失、负采样、Wasserstein距离、三元组损失及其变体的组合。
20.根据权利要求18所述的方法，所述方法还包括根据超梯度方法探索所述不规则信念集合的不同值的步骤，其中，所述超梯度方法采用强化学习、隐式梯度、进化策略、差分进化、粒子群、遗传算法、模拟退火、贝叶斯优化及其变体的组合。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于信号分析的系统，所述系统包括：
2.根据权利要求1所述的系统，其中，所述随机dnn块包括变分自动编码器、变分信息瓶颈、去噪扩散概率模型和变分贝叶斯神经网络的变体，其中，所述随机dnn块配置有以下的组合：
3.根据权利要求1所述的系统，其中，所述变分采样基于根据包括由所述不规则信念集合指定的位置、尺度、形状和温度的变分参数集合的重参数化技巧使用随机数生成器。
4.根据权利要求1所述的系统，其中，所述差异度量集合包括瑞丽的α散度、β散度、γ散度、费舍尔散度、杰弗里散度及其变体的组合。
5.根据权利要求1所述的系统，其中，所述超参数集合包括：
6.根据权利要求1所述的系统，其中，所述不规则信念集合包括以下各项的不匹配或异构组合：
7.根据权利要求1所述的系统，其中，所述数据集集合包括以下各项的组合：
8.根据权利要求1所述的系统，其中，所述处理器还执行以下步骤：
9.根据权利要求8所述的系统，其中，所述损失函数是变分瑞丽边界、证据下限、均方误差、交叉熵、结构相似性、余弦相似性、负对数似然、绝对误差、互协方差、聚类损失、散度、铰链损失、huber损失、负采样、wasserstein距离、三元组损失及其变体的组合。
10.根据权利要求8所述的系统，其中，所述梯度方法采用随机梯度下降、自适应动量、ada梯度、ada边界、涅斯捷罗夫加速梯度、均方根传播及其变体的组合。
11.根据权利要求8所述的系统，其中，所述处理器还执行通过使用超梯度方法来探索所述存储体中的所述不规则信念集合和所述超参数集合的不同值的步骤，其中，所述超梯度方法采用强化学习、隐式梯度、进化策略、差分进化、粒子群、遗传算法、模拟退火、贝叶斯优化及其变体的组合。
12.根据权...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。