一种利用混合稀疏神经网络快速求解稀疏编码的方法技术

本发明专利技术公开了一种利用混合稀疏神经网络快速求解稀疏编码的方法，包括：步骤S1，采用粗估计神经网络、混合稀疏神经网络和采样模块联合作为求解网络模型；步骤S2，将输入数据输入至粗估计神经网络进行预测得出稀疏编码的初始预测结果；步骤S3，将初始预测结果输入至混合稀疏神经网络进行预测得到稀疏编码的概率分布参数；步骤S4，将稀疏编码的概率分布参数输入至采样模块对概率分布结果进行采样，根据采样结果得出稀疏编码。该方法由于结合了概率分布预测和稀疏编码求解方式，相较于已有的稀疏编码求解方法，预测编码的概率分布能更好地刻画编码，准确的求解出稀疏编码。

【技术实现步骤摘要】
一种利用混合稀疏神经网络快速求解稀疏编码的方法
本专利技术涉及人工智能领域，尤其涉及一种利用混合稀疏神经网络快速求解稀疏编码的方法。
技术介绍
稀疏编码已经证实在恢复高维数据的语义信息领域取得了巨大的成功。因此，稀疏编码在提取原始数据的特征上变得十分流行，其应用包括：图像超分辨率、子空间学习、图片分类等一系列领域。为了获得原始数据的稀疏编码，传统方法主要利用高维凸优化算法来求解，比如迭代收缩阈值(ISTA)算法，但是计算复杂度很高。为此，研究人员将传统的迭代收缩阈值计算模块展开成循环神经网络以此来提高计算速度，例如：LISTA算法。与传统的迭代方法不同，LISTA算法在推断期间具有很高的计算效率。对于相同分布的数据，一旦训练了神经网络的可学习参数，就可以通过将输入通过固定的递归神经网络传递而不是解决一系列凸优化问题来获得稀疏编码。然而，由于稀疏编码问题是一个典型的逆问题，同时考虑到数据噪声以及模型本身的不确定性，对于特定的输入可能会有多个可行的输出结果。现有基于神经网络的求解方法直接计算稀疏编码的准确值并不可靠，解的精度不高。
技术实现思路
基于现有技术所存在的问题，本专利技术的目的是提供一种利用混合稀疏神经网络快速求解稀疏编码的方法，能解决现有基于神经网络求解稀疏编码的方法，存在稀疏编码估计值不精确的问题。本专利技术的目的是通过以下技术方案实现的：本专利技术实施方式提供一种利用混合稀疏神经网络求解稀疏编码的方法，包括：步骤S1，采用粗估计神经网络、混合稀疏神经网络和采样模块联合作为求解网络模型；步骤S2，将输入数据输入至所述粗估计神经网络进行预测得到稀疏编码的初始预测结果；步骤S3，将所述稀疏编码的初始预测结果输入至所述的混合稀疏神经网络进行预测，得到稀疏编码的概率分布参数；步骤S4，将所述混合稀疏神经网络得到的概率分布参数输入至所述采样模块进行采样得到采样结果，根据所述采样结果得出稀疏编码。由上述本专利技术提供的技术方案可以看出，本专利技术实施例提供的利用混合稀疏神经网络快速求解稀疏编码的方法，其有益效果为：通过采用粗估计神经网络、混合稀疏神经网络和采样模块联合作为求解网络模型，能实现先预测，再利用混合稀疏神经网络进行概率分布预测得到概率分布参数，之后通过采样模块对概率分布参数进行采样求解得出稀疏编码，由于结合了概率分布预测和稀疏编码求解方式，相较于已有的稀疏编码求解方法，预测编码的概率分布能更好地处理输入数据的噪声、模型的不确定性，可以更加快速、准确的求解出稀疏编码。本专利技术的方法能够有效地降低稀疏编码的预测误差，提高算法的收敛速率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例值，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的利用混合稀疏神经网络快速求解稀疏编码的方法流程图；图2为本专利技术实施例提供的利用混合稀疏神经网络快速求解稀疏编码的方法示意图。具体实施方式下面结合本专利技术的具体内容，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。如图1所示，本专利技术实施例提供一种利用混合稀疏神经网络求解稀疏编码的方法，是一种基于深度神经网络的稀疏编码快速计算框架，能实现更加快速、准确的求解稀疏编码，包括：步骤S1，采用粗估计神经网络、混合稀疏神经网络和采样模块联合作为求解网络模型；步骤S2，将输入数据输入至所述粗估计神经网络进行预测得到稀疏编码的初始预测结果；步骤S3，将所述稀疏编码的初始预测结果输入至所述的混合稀疏神经网络进行预测，得到稀疏编码的概率分布参数；步骤S4，将所述混合稀疏神经网络得到的稀疏编码的概率分布参数输入至所述采样模块进行采样得到采样结果，根据所述采样结果得出稀疏编码。所述方法的步骤S2中，将输入数据输入至所述粗估计神经网络进行预测得到的稀疏编码的初始预测结果为：输入数据将x输入到所述粗估计神经网络中，求得所述粗估计神经网络的稀疏编码的初始预测结果为：Z(t)＝hθ(Wex+SZ(t-1))t＝1，...，Tt；其中，表示粗估计神经网络得到的稀疏编码的初始预测结果，即Z(t)最后一步的结果；Z(t)表示一个迭代隐变量；x表示输入数据；h表示取值集合为的激活函数；θ表示一维的参数变量；S表示迭代隐变量之间的参数矩阵；We表示输入数据与迭代隐变量之间的参数矩阵。所述方法的步骤S3中，将所述初始预测结果输入至所述混合稀疏神经网络进行概率分布预测得到的稀疏编码的概率分布参数为：其中，Θ表示混合稀疏网络得到的稀疏编码的概率分布参数，其由三部分组成：α表示混合系数，且μi对应第i个高斯分布的中心，且diag(σi)是m×m的对角阵对应第i个高斯分布的协方差矩阵；表示所述粗估计神经网络得到的稀疏编码的初始预测结果；f表示激活函数：对于α激活函数为softmax函数，对于μ激活函数为软阈值操作函数，对于σ激活函数为取值恒为正值的函数；Wm表示所述粗估计神经网络得到的稀疏编码的初始预测结果与所述混合稀疏神经网络得到的稀疏编码的概率分布参数之间的参数矩阵。所述方法的步骤S4中，所述将混合稀疏神经网络得到的稀疏编码的概率分布参数输入至所述采样模块，对该稀疏编码的概率分布参数进行采样得到的采样结果为：其中，ind表示高斯核函数的位置索引；αi表示混合系数α的第i个位置的分量；所述根据采样结果得出的稀疏编码为：z＝μind；其中，z表示最终的稀疏编码，μind表示第ind索引的高斯分布的中心，ind为对所述混合稀疏网络得到的稀疏编码的稀疏编码的概率分布参数采样得到的位置索引。所述方法中，粗估计神经网络采用以下神经网络中的任一种：LISTA神经网络、ALISTA神经网络和Coupled-LISTA神经网络。可利用梯度反向传播优化本专利技术求解网络模型中的粗估计神经网络、混合稀疏神经网络，如图1、2所示，具体为：步骤S201：初始化求解网络模型的参数；步骤S202：将输入数据输入至所述粗估计神经网络得出稀疏编码的初始预测结果；步骤S301：根据所述步骤S202得出的初始预测结果输入至所述混合稀疏网络进行预测，得到稀疏编码的概率分布参数；步骤S302：根据所述步骤S301得到的稀疏编码的概率分布参数和稀疏编码的期望值，利用梯度反向传播优化所述粗估计神经网络和所述混合稀疏神经网络，优化后即得到优化的求解网络模型。该步骤具体是：根据混合稀疏神经网络输出的概本文档来自技高网...

【技术保护点】
1.一种利用混合稀疏神经网络求解稀疏编码的方法，其特征在于，包括：/n步骤S1，采用粗估计神经网络、混合稀疏神经网络和采样模块联合作为求解网络模型；/n步骤S2，将输入数据输入至所述粗估计神经网络进行预测得到稀疏编码的初始预测结果；/n步骤S3，将所述稀疏编码的初始预测结果输入至所述混合稀疏神经网络进行概率分布预测得到稀疏编码的概率分布参数；/n步骤S4，将所述混合稀疏神经网络得到的稀疏编码的概率分布参数输入至所述采样模块进行采样得到采样结果，根据所述采样结果得出稀疏编码。/n

【技术特征摘要】
1.一种利用混合稀疏神经网络求解稀疏编码的方法，其特征在于，包括：
步骤S1，采用粗估计神经网络、混合稀疏神经网络和采样模块联合作为求解网络模型；
步骤S2，将输入数据输入至所述粗估计神经网络进行预测得到稀疏编码的初始预测结果；
步骤S3，将所述稀疏编码的初始预测结果输入至所述混合稀疏神经网络进行概率分布预测得到稀疏编码的概率分布参数；
步骤S4，将所述混合稀疏神经网络得到的稀疏编码的概率分布参数输入至所述采样模块进行采样得到采样结果，根据所述采样结果得出稀疏编码。


2.根据权利要求1所述的利用混合稀疏神经网络求解稀疏编码的方法，其特征在于，所述方法的步骤S2中，将输入数据输入至所述粗估计神经网络进行预测得到稀疏编码的初始预测结果为：
输入数据将x输入到所述粗估计神经网络中，求得所述粗估计神经网络的预测结果为：



Z(t)＝hθ(Wex+SZ(t-1))t＝1，...，Tt；
其中，表示粗估计神经网络得到的稀疏编码的初始预测结果，即Z(t)最后一步的结果；Z(t)表示一个迭代隐变量；x表示输入数据；h表示取值集合为的激活函数；θ表示一维的参数变量；S表示迭代隐变量之间的参数矩阵；We表示输入数据与迭代隐变量之间的参数矩阵。


3.根据权利要求1或2所述的利用混合稀疏神经网络求解稀疏编码的方法，其特征在于，所述方法的步骤S3中，所述将稀疏编码的初始预测结果输入至所述混合稀疏神经网络进行概...

【专利技术属性】
技术研发人员：庄连生，龙啸，李莉，李厚强，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34