一种基于谐振过滤的神经网络图像特征提取方法技术

本发明专利技术公开了一种基于谐振过滤的神经网络图像特征提取方法，包括以下步骤：S01，构建全连接神经网络，包括输入层、隐藏层和输出层；S02，设置训练数据像素点一一对应的波函数；S03，通过波函数中频率参数ω0与超参数ω对训练数据进行过滤；S04，过滤后的数据输入S01中全连接神经网络并输出结果；S05，设置代价函数，计算输出层误差，并通过反向传播计算各层的误差；S06，推导输入层期望误差，更新ω0，重新回到S03；S07，用梯度下降算法更新神经网络中的权重和偏置，重新回到S04；S08，得到训练好的神经网络。本发明专利技术提供的一种基于谐振过滤的神经网络图像特征提取方法，利用波函数性质对训练图像数据进行谐振过滤，能够提高神经网络图像特征提取能力。

A Neural Network Image Feature Extraction Method Based on Resonance Filtering

【技术实现步骤摘要】
一种基于谐振过滤的神经网络图像特征提取方法
本专利技术涉及一种基于谐振过滤的神经网络图像特征提取方法，属于神经网络图像识别

技术介绍
现如今出现海量的数据和优秀的算法，神经网络图像识别技术蓬勃发展。面对大量的训练数据，神经网络图像特征提取的能力很大程度决定了神经网络训练模型的好坏。在海量数据和优秀算法的推动下，神经网络图像识别技术蓬勃发展。面对大量的训练数据，神经网络图像特征提取的能力很大程度上决定了神经网络训练模型的好坏。权重是神经网络中神经元之间传输数据的桥梁，通过梯度下降算法对权重进行修正，重复此过程使得模型收敛。在图像特征识别的过程中，常常存在一些“噪声”，这些“噪声”数据不但对识别结果无关紧要，而且影响识别结果的准确性。现有技术一般通过增加数据集和多次迭代来缓解“噪声”数据对识别结果的影响，但其优化效果趋于饱和。
技术实现思路
本专利技术要解决的技术问题是，克服现有技术的缺陷，提供一种利用波函数性质对训练图像数据进行谐振过滤，能够提高神经网络图像特征提取能力的基于谐振过滤的神经网络图像特征提取方法。为解决上述技术问题，本专利技术采用的技术方案为：一种基于谐振过滤的神经网络图像特征提取方法，包括以下步骤：S01，构建全连接神经网络，包括输入层、隐藏层和输出层；S02，设置训练数据像素点一一对应的波函数；S03，通过波函数中频率参数ω0与超参数ω对训练数据进行过滤；S04，过滤后的数据输入S01中全连接神经网络并输出结果；S05，设置代价函数，计算输出层误差，并通过反向传播计算各层的误差；S06，推导输入层期望误差，更新ω0，重新回到S03；S07，用梯度下降算法更新神经网络中的权重和偏置，重新回到S04；S08，得到训练好的神经网络。S02中，假设每个像素点有与之对应的波函数参数则表示训练图像像素点数据，上标l表示数据在神经网络中层的索引，下标j表示该层中某一数据点的索引，由于公式(1)参数上下标都相同，将公式简化再将公式(2)转化为向量形式表示如下：协振过滤用于神经网络的输入层，当只有1个输入层时，公式(3)也可写为其中，ω0表示初始化输入层像素点波函数频率参数，表示函数相位，t表示波函数自变量，A表示振幅系数，起控制波函数振幅的作用，p表示波函数偏置，该参数为假设波函数中起偏置作用的参数，在本专利技术中设为0。用γ(·)表示该波函数，如公式(4)可表示为x＝γ(t)(5)。S02中，初始化输入层像素点的波函数频率参数ω0的初始化方式如下：其中，训练数据的图片高度为H，宽度为L，像素点坐标为(m，n)。S03中，谐振过滤系数计算的公式如下：其中，v表示谐振过滤系数，ω0表示波函数频率参数，ω表示神经网络训练中的超参数；由于公式(7)中只有ω0和ω两个变量，将公式(7)进行表示为，v＝φ(ω0,ω)(8)那么输入数据x与过滤后的数据r的关系为也可以用下式表示S05中，全连接神经网络的代价函数公式如下：其中，C表示神经网络预测误差，aoutput表示输出层经过激活后的输出数据，y表示训练集标签数据；隐藏层使用Sigmoid激活函数对隐藏层输出进行激活，公式如下：a＝σ(z)(12)其中，σ(·)表示Sigmoid激活函数，z表示激活函数自变量，在本专利技术中sigmoid激活函数的自变量为隐藏层中的数据，输出层的输出使用Softmax激活函数，公式如下：其中，ajoutput表示输出层索引为j的神经元激活后的输出，表示输出层索引为j的神经元的值，表示输出层中索引为k的神经元的值，aoutput表示输出层激活后的输出。输入层期望误差δ0的计算公式为：其中，w1表示输入层与隐藏层之间的权重，z0表示输入层输入数据；aoutput表示输出层经过激活后的输出，δoutput表示代价函数关于输出层的梯度，即输出层误差；δl表示l层的误差，公式如下：其中，σ′运算代表对函数σ的自变量求导，wl+1表示l+1层与l层之间的权重，zl表示l层神经元的值。S06中，波函数频率参数ω0的更新速度使用谐振过滤学习率RLR调控，S07中，神经网络中权重和偏置的更新速度使用神经网络中的学习率LR调控。初始化参数RLR＝0.1，初始化参数LR＝0.08。S07中，波函数频率参数ω0的更新方式如下：本专利技术的有益效果：本专利技术提供一种基于谐振过滤的神经网络图像特征提取方法，模拟人类的“注意力”机制，在神经网络结构中嵌入一种与权重同步优化的“噪声”过滤结构，减少“噪声”数据对特征提取准确性的影响。本专利技术利用神经网络反向传播过程中的梯度参数，谐振过滤掉输入数据中无关紧要的像素值，一定程度地解决了图像“噪声”问题，也使神经网络着重处理那些“有用”的数据，提高神经网络的特征提取能力。附图说明图1为本专利技术的一种基于谐振过滤的神经网络图像特征提取方法的模型结构图；图2为本专利技术一种基于谐振过滤的神经网络图像特征提取方法的流程图。具体实施方式下面结合附图对本专利技术作进一步描述，以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。本专利技术公开一种基于谐振过滤的神经网络图像特征提取方法，利用波函数性质对训练图像数据进行谐振过滤，能够提高神经网络图像特征提取能力，包括以下步骤：步骤一，本专利技术适用于目前使用反向传播和梯度下降算法的图像识别神经网络模型，以全连接神经网络为例，建立神经网络，包括输入层、隐藏层和输出层。本实施例中以标准mnist手写数字数据集为模型训练集，该训练集图片大小为28x28。本实施例使用的神经网络为全连接神经网络，其输入层大小为784x1，隐藏层大小为200x1，输出层大小为10x1。步骤二，设置训练数据像素点一一对应的波函数。假设每个像素点有与之对应的波函数参数则表示训练图像像素点数据，上标l表示数据在神经网络中层的索引，下标j表示该层中某一数据点的索引，神经网络训练图像每一个像素点都对应着一个波函数。由于公式(1)参数上下标都相同，将公式简化再将公式(2)转化为向量形式表示如下：协振过滤用于神经网络的输入层，当只有1个输入层时，公式(3)也可写为其中，x为训练图像数据，ω0表示初始化输入层像素点波函数频率参数，表示函数相位，t表示波函数自变量，A表示振幅系数，起控制波函数振幅的作用，p表示波函数偏置，该参数为假设波函数中起偏置作用的参数，在本专利技术中设为0。用γ(·)表示该波函数，如公式(4)可表示为x＝γ(t)(5)。参数p、A为假设波函数中需要初始化的参数，不参与神经网络迭代训练过程中的参数更新。公式(1)参数推荐初始化为0，即在训练过程中不更新；参数p推荐初始化为0，即p＝0，在训练过程中不更新；参数A推荐初始化为1，即A＝1，在训练过程中不更新。神经网络开始训练之前，初始化输入层像素点的波函数频率参数ω0的初始化方式如下：设图片高度为H，宽度为L，一图片左上角为坐标原点，高度所在直线为纵轴，方向由上向下，宽度所在直线为横轴，方向由左向右，为训练图像数据设置像素点坐标为(m，n)，初始化步骤三，通过波函数中频率参数ω0与超参数ω对训练数据进行过滤。超参数ω(开始训练之前设置的参数，不通过训练得到)为谐振过滤过程中的必要参数，该参数为假设量，假设该模型处于某种环境，该环境中充满频率为ω的波，以下称该本文档来自技高网...

【技术保护点】
1.一种基于谐振过滤的神经网络图像特征提取方法，其特征在于：包括以下步骤：S01，构建全连接神经网络，包括输入层、隐藏层和输出层；S02，设置训练数据像素点一一对应的波函数；S03，通过波函数中频率参数ω0与超参数ω对训练数据进行过滤；S04，过滤后的数据输入S01中全连接神经网络并输出结果；S05，设置代价函数，计算输出层误差，并通过反向传播计算各层的误差；S06，推导输入层期望误差，更新ω0，重新回到S03；S07，用梯度下降算法更新神经网络中的权重和偏置，重新回到S04；S08，得到训练好的神经网络。

【技术特征摘要】
1.一种基于谐振过滤的神经网络图像特征提取方法，其特征在于：包括以下步骤：S01，构建全连接神经网络，包括输入层、隐藏层和输出层；S02，设置训练数据像素点一一对应的波函数；S03，通过波函数中频率参数ω0与超参数ω对训练数据进行过滤；S04，过滤后的数据输入S01中全连接神经网络并输出结果；S05，设置代价函数，计算输出层误差，并通过反向传播计算各层的误差；S06，推导输入层期望误差，更新ω0，重新回到S03；S07，用梯度下降算法更新神经网络中的权重和偏置，重新回到S04；S08，得到训练好的神经网络。2.根据权利要求1所述的一种基于谐振过滤的神经网络图像特征提取方法，其特征在于：S02中，假设每个像素点有与之对应的波函数参数则表示训练图像像素点数据，上标l表示数据在神经网络中层的索引，下标j表示该层中某一数据点的索引，由于公式(1)参数上下标都相同，将公式简化再将公式(2)转化为向量形式表示如下：协振过滤用于神经网络的输入层，当只有1个输入层时，公式(3)也可写为其中，ω0表示初始化输入层像素点波函数频率参数，表示函数相位，t表示波函数自变量，A表示振幅系数，起控制波函数振幅的作用，p表示波函数偏置。用γ(·)表示该波函数，如公式(4)可表示为x＝γ(t)(5)。3.根据权利要求2所述的一种基于谐振过滤的神经网络图像特征提取方法，其特征在于：S02中，初始化输入层像素点的波函数频率参数ω0的初始化方式如下：其中，训练数据的图片高度为H，宽度为L，像素点坐标为(m，n)。4.根据权利要求3所述的一种基于谐振过滤的神经网络图像特征提取方法，其特征在于：S03中，谐振过滤系数计算的公式如下：其中，v表示谐振过滤系数，ω0表示波函数频率参数，ω表示神经网络训练中的超参数；由于公式(7)中只有ω0和ω两个变量，将公式(...

【专利技术属性】
技术研发人员：张霞，陆伟，陈栋，杨和稳，夏嵬，倪靖，
申请(专利权)人：南京信息职业技术学院，
类型：发明
国别省市：江苏,32