一种校准多元回归网络构建方法技术

本发明专利技术公开了一种校准多元回归网络构建方法，属于计算机算法领域，一种校准多元回归网络构建方法，它通过在多元回归网络中增加W矩阵，以及对W矩阵进行非线性处理，增加了输入‑输出变量之间非线性关系的刻画，提升了多元回归网络的系统性能，同时将标准校准多元回归网络中B矩阵用两个矩阵U、V实现，在这种矩阵分解过程中，遵循低秩的原则，这种低秩性原则可以保证用最少的参数解决函数近似问题，提高多元回归网络的运算性能，增加其运算的准确率。

【技术实现步骤摘要】
一种校准多元回归网络构建方法
本专利技术涉及计算机算法领域，更具体地说，涉及一种校准多元回归网络构建方法。
技术介绍
多元回归是研究一个因变量、与两个或两个以上自变量的回归。亦称为多元线性回归，是反映一种现象或事物的数量依多种现象或事物的数量的变动而相应地变动的规律。建立多个变量之间线性或非线性数学模型数量关系式的统计方法。使用计算机构建多元回归网络，是处理测量数据时，研究变量与变量之间的关系的重要手段。校准多元回归模型如公式(1)所示，其中Y为目标输出，X为输入，B为映射矩阵，即待优化的参数。定义A*k＝(A1k，...；Adk)T，Aj*＝(Aj1，...，Ajm)则||*||2,1和||*||1,p具体表示如下：目前有不同的方法根据(1)求解映射矩阵B。公知的，校准多元回归网络的目标是寻找映射B，使得Y-XB的误差最小，并且采用||*||2,1计算误差。对矩阵B的约束上，公式(1)中只是利用||*||1,p范数来约束，这种约束中p一般两种选择，即p＝∞和p＝2。这分别对应下面两种情况：其中(2)是限制B矩阵每行的最大值，而(3)则是限制B矩阵每行的二范数，对B中的其他关系没有任何限制。在Y和X之间关系刻画上，只是用B矩阵刻画这种线性关系。在很多应用中，输入和输出之间不再是简单的线性关系，这在具体应用中，如根据输入人脸图像，输出人脸关键点等应用中，输入和输出的非线性关系很明显。简单用这种校准多元回归网络，则不能得到很好的精度。
技术实现思路
1.要解决的技术问题针对现有技术中存在的问题，本专利技术的目的在于提供一种校准多元回归网络构建方法，它通过在多元回归网络中增加W矩阵，以及对W矩阵进行非线性处理，增加了输入-输出变量之间非线性关系的刻画，提升了多元回归网络的系统性能，同时将标准校准多元回归网络中B矩阵用两个矩阵U、V实现，在这种矩阵分解过程中，遵循低秩的原则，这种低秩性原则可以保证用最少的参数解决函数近似问题，提高多元回归网络的运算性能，增加其运算的准确率。2.技术方案为解决上述问题，本专利技术采用如下的技术方案。一种校准多元回归网络构建方法，以X为输入层参数，W为非线性网络层参数，z为该层输出，其神经元节点的激活函数采用余弦函数，输入X和该层输出z之间的关系如下公式所示：对于线性层，将z作为输入，Y为输出，其关系如下：Y＝f(M，z)＝Mz(4)其中M＝UV，U、V为对M的低秩分解，校准多元回归网络具体构建步骤如下：S1、随机选取W、U、V参数数值，并设定迭代次数t从1开始；S2、给定输入数据X和输出数据Y，计算S3、更新U参数；S4、给定输入数据X和输出数据Y，计算S5、更新V参数；S6、给定输入数据X和输出数据Y，计算S7、更新W参数；S8、迭代更新，直到收敛。进一步的，所述步骤S2中，的计算公式如下：进一步的，所述步骤S2中，D为实验中可调节的一个参数，G为一对角矩阵，其对角线元素为：进一步的，所述步骤S3中，U参数的更新公式如下：进一步的，所述步骤S3中，ηU为迭代速率，其值一般在实验过程中调节确定。进一步的，所述步骤S4中，的计算公式如下：进一步的，所述步骤S5中，V参数的更新公式为：其中ηV为迭代速率，其值一般在实验过程中调节确定。进一步的，所述步骤S6中，的计算公式如下：其中Λ表示如下：(A⊙B)ij＝AijBij。进一步的，所述步骤S7中，W参数的更新公式如下：进一步的，所述步骤S7中，ηW为迭代速率，其值一般在实验过程中调节确定。3.有益效果相比于现有技术，本专利技术的优点在于：本方案通过在多元回归网络中增加W矩阵，以及对W矩阵进行非线性处理，增加了输入-输出变量之间非线性关系的刻画，提升了多元回归网络的系统性能，同时将标准校准多元回归网络中B矩阵用两个矩阵U、V实现，在这种矩阵分解过程中，遵循低秩的原则，这种低秩性原则可以保证用最少的参数解决函数近似问题，提高多元回归网络的运算性能，增加其运算的准确率。附图说明图1为本专利技术的网络结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。实施例1：请参阅图1，一种校准多元回归网络构建方法，本质是一种神经网络的构建，其包含两个部分，一是神经网络的结构，一是神经网络中参数的确定，神经网络的结构包含若干参数，其中X为输入层参数，W为非线性网络层参数，z为该层输出，其神经元节点的激活函数采用余弦函数，输入X和该层输出z之间的关系如下公式所示：对于线性层，将z作为输入，Y为输出，其关系如下：Y＝f(M，z)＝Mz(4)其中M＝UV，U、V为对M的低秩分解。在构建神经网络，会对构造的神经网络的优化，在优化中，需要构造目标函数，然后利用梯度下降方法进行优化。其中目标函数如下：其中Y为目标输出，X为输入。其中W、U、V之间的关系如图1所示。在图1中，将X和Y的关系用神经网络刻画。分为非线性层和线性层，其中W参数表示的非线性网络层参数，利用余弦激活函数刻画X和Y之间的非线性关系；U、V表示了线性关系，其保证矩阵M＝UV的低秩特性。给定X，Y，按照图1的网络结构，构建校准多元回归网络，计算W、U、V参数的数值，其具体步骤如下：S1、随机选取W、U、V参数数值，并设定迭代次数t从1开始；S2、给定输入数据X和输出数据Y，计算如下：其中D为实验中可调节的一个参数，G为一对角矩阵，其对角线元素如本文档来自技高网...

【技术保护点】
1.一种校准多元回归网络构建方法，以X为输入层参数，W为非线性网络层参数，z为该层输出，其神经元节点的激活函数采用余弦函数，输入X和该层输出z之间的关系如下公式所示：/n

【技术特征摘要】
1.一种校准多元回归网络构建方法，以X为输入层参数，W为非线性网络层参数，z为该层输出，其神经元节点的激活函数采用余弦函数，输入X和该层输出z之间的关系如下公式所示：



对于线性层，将z作为输入，Y为输出，其关系如下：
Y＝f(M，z)＝Mz(4)
其中M＝UV，U、V为对M的低秩分解，校准多元回归网络具体构建步骤如下：
S1、随机选取W、U、V参数数值，并设定迭代次数t从1开始；
S2、给定输入数据X和输出数据Y，计算
S3、更新U参数；
S4、给定输入数据X和输出数据Y，计算
S5、更新V参数；
S6、给定输入数据X和输出数据Y，计算
S7、更新W参数；
S8、迭代更新，直到收敛。


2.根据权利要求1所述的一种校准多元回归网络构建方法，其特征在于：所述步骤S2中，的计算公式如下：





3.根据权利要求2所述的一种校准多元回归网络构建方法，其特征在于：所述步骤S2中，D为实验中可调节的一个参数，G为一对角矩阵，其对角线元素为：


4.根据权利要求...

【专利技术属性】
技术研发人员：甄先通，张磊，李欣，简治平，左利云，
申请(专利权)人：广东石油化工学院，
类型：发明
国别省市：广东;44