一种基于连续凸逼近的分布式异步优化方法技术

本发明专利技术涉及一种基于连续凸逼近的分布式异步优化方法，属于网络通信领域。该方法包括：S1：构建问题模型，即选择实际问题全局目标函数；S2：初始化每个节点所持局部变量，并设置最大迭代次数；S3：搭建有向强连通的非平衡源网络，并在其基础上添加虚拟节点搭建增广网络；S4：设置时延阈值、迭代次数以及系统参数；S5：确定的激活节点以及与之相关联的时延值的关系；S6：清除系统中过时信息；S7：选取代理函数，设置合适的步长和动量参数；S8：激活节点通过与近邻通信或者利用时延值变量更新，非激活节点保持当前变量值进入下一个迭代更新，直到达到迭代次数阈值。本发明专利技术对异步网络具有强鲁棒性和容错性，提高通信链路利用效率。

【技术实现步骤摘要】
一种基于连续凸逼近的分布式异步优化方法
本专利技术属于网络通信领域，涉及大规模网络通信数据分布式优化
，具体涉及一种基于连续凸逼近技术的分布式异步优化方法。
技术介绍
早期，各行业均处于初始发展状态，所需处理的数据往往体积小、维度低，因此这些数据往往只需要当个系统储存，再利用传统的集中式优化算法就可以高效处理这些数据。然而，随着大规模网络的迅速发展，数据种类增多、体积增大、维度增高，数据也往往储存在多个系统中。传统集中式优化算法已经难以满足日益发展的行业需求，因此人们开始将目光投入到分布式优化算法的设计上。分布式优化是通过多节点之间的有效协作来实现优化的任务，用来解决许多集中式优化算法难以解决的大规模复杂的优化问题。分布式优化在无线传感网络、机器学习、资源分配、智能电网以及控制系统等领域具有广阔的应用前景。当前，已经有一大批算法被提出来解决分布式优化问题，这些算法大致可以分为两类：同步算法和异步算法，且绝大多数算法都是同步算法。在同步算法中，所有节点需要协调统一更新时间，即：同步算法需要给所有的节点设置一个全局时钟。随着大数据时代的带来，网络规模逐渐增大，所以设置全局时钟不利于整个分布式多节点系统的高效计算。如果时钟设置不合理，甚至会导致整个系统崩溃。因此出现了异步算法，异步算法中的节点不需要等待其它节点完成更新，而是通过使用来自邻居节点的信息进行局部更新计算。与同步通信相比，异步通信有以下优势：减少通信链路的空闲时间、缓解网络通信和内存访问的拥塞、节省资源，同时异步算法对通信网络具有强鲁棒性和容错性。因此，异步算法的发展对解决大规模网络问题具有重要的现实意义。在文献“Parallelanddistributedcomputation:numericalmethods,EnglewoodCliffs,NJ:Prentice-Hall,vol.23,1989”中，Bertsekas和Tsitsiklis提出了一个通用异步模型，该模型具有两个特性：(i)每个节点可以执行它的局部计算并在任意时刻且不需要任何协调或调度与它的邻居节点相互通信；(ii)每个节点使用来自邻居节点的时延信息进行局部计算。现有的分布式异步算法可根据是否使用时延信息大致分为两类。分布式异步算法随机激活节点，但是节点进行更新计算却要使用最新接收的信息。因此，这些算法不使用时延信息，这就不满足特性(ii)。例如，在文献“Asynchronousdistributedoptimizationviarandomizeddualproximalgradient,IEEETransactionsonAutomaticControl,vol.62,no.5,pp.2095–2106,May,2017”中，该算法要求在两次连续的更新中有相等且独立的时间间隔。在文献“Ontheo(1/k)convergenceofasynchronousdistributedalternatingdirectionmethodofmultipliers,IEEEGlobalConferenceonSignalandInformationProcessing,pp.551–554,Feb.2014”中，需要要求两个节点同时计算更新，而如果两个节点的计算能力差距太大，这可能会导致系统死锁。最近的分布式异步算法将节点激活规则和时延信息处理两个方面都有考虑到，有的采用随机激活规则，有的采用确定性激活规则，其中通信信息要么丢失要么及时收到，有的算法可以解决时延但是不能解决数据丢包。在文献“ARock:Analgorithmicframeworkforasynchronousparallelcoordinateupdates,SIAMJournalonScientificComputing,vol.38,no.5,pp.A2851–A2879,2016”中，Z.Peng将激活规则和时延信息当作独立的变量，这不符合实际应用。在文献“AsySPA:Anexactasynchronousalgorithmforconvexoptimizationoverdigraphs,IEEETransactionsonAutomaticControl,Jul.2019,doi:10.1109/TAC.2019.2930234”中，Zhang和You设计了一个自适应步长机制，提出了AsySPA算法，该算法解决了所有节点的不均匀更新的问题。但是，AsySPA算法并没有采用梯度跟踪技术，因此只能达到次线性收敛速度。Tianetal.在文献“Achievinglinearconvergenceindistributedasynchronousmulti-agentoptimization,Mar.2020,doi:10.1109/TAC.2020.2977940”中提出了ASY-SONATA，该算法结合了扰动“和-推”机制和SONATA[9],[10]的创意。因此，ASY-SONATA不仅可以防止数据丢包，还能达到线性收敛速率。但是，ASY-SONATA只能用于求解光滑的、凸的以及无约束的分布式优化问题。综上所述，现有技术存在以下技术问题：(1)现有的集中式优化技术存在单点失效、鲁棒性差等问题，随着大规模网络的普及，已经难以满足各行业的发展需求；(2)现有的分布式同步优化算法会造成通信链路大量的空闲时间，从而造成网络资源的浪费。同时，时钟同步的需求也不适用于大规模网络的实际应用；(3)现有的异步算法存在收敛速度慢且只能处理一般的无约束的分布式优化问题，对于分布式复合优化问题的研究极度匮乏。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于连续凸逼近的分布式异步优化方法，避免整个通信网络单点失效、鲁棒性差等问题；对实际异步网络具有强鲁棒性和容错性，提高了通信链路利用效率，缓解网络通信和内存访问的拥塞，节省网络资源。为达到上述目的，本专利技术提供如下技术方案：一种基于连续凸逼近的分布式异步优化方法，具体包括以下步骤：S1：构建问题模型，即选择实际问题全局目标函数；S2：初始化每个节点所持局部变量，并设置最大迭代次数kmax；S3：搭建有向强连通的非平衡源网络并在其基础上添加虚拟节点搭建增广网络得到增广行随机矩阵和增广列随机矩阵S4：设置时延阈值、迭代次数以及系统参数；S5：确定第k次迭代的激活节点ik以及与之相关联的时延值的关系；S6：若所选择节点为非激活节点，则跳转至步骤S9；S7：若所选择节点为激活节点，则清除系统中过时信息；S8：选取合适的代理函数，并根据所计算的相关系统参数设置合适的步长和动量参数；S9：激活节点通过与近邻通信或者利用时延值进行变量更新计算，直到达到迭代次数阈值，否则返回至步骤S7。进一步，所述步骤S1中，构建的问题模型为：其中，集合非空、封闭且是凸的；[m]＝{1,…,m}是通信网络中的节点集；任意节点i只知道局部目标函数不知道fj,j≠i，其中本文档来自技高网...

【技术保护点】
1.一种基于连续凸逼近的分布式异步优化方法，其特征在于，该方法具体包括以下步骤：/nS1：构建问题模型，即选择实际问题全局目标函数；/nS2：初始化每个节点所持局部变量，并设置最大迭代次数k

【技术特征摘要】
1.一种基于连续凸逼近的分布式异步优化方法，其特征在于，该方法具体包括以下步骤：
S1：构建问题模型，即选择实际问题全局目标函数；
S2：初始化每个节点所持局部变量，并设置最大迭代次数kmax；
S3：搭建有向强连通的非平衡源网络并在其基础上添加虚拟节点搭建增广网络得到增广行随机矩阵和增广列随机矩阵
S4：设置时延阈值、迭代次数以及系统参数；
S5：确定第k次迭代的激活节点ik以及与之相关联的时延值的关系；
S6：若所选择节点为非激活节点，则跳转至步骤S9；
S7：若所选择节点为激活节点，则清除系统中过时信息；
S8：选取代理函数，并根据所计算的相关系统参数设置合适的步长和动量参数；
S9：激活节点通过与近邻通信或者利用时延值进行变量更新计算，直到达到迭代次数阈值，否则返回至步骤S7。


2.根据权利要求1所述的分布式异步优化方法，其特征在于，所述步骤S1中，构建的问题模型为：



其中，集合非空、封闭且是凸的；[m]＝{1,…,m}是通信网络中的节点集；任意节点i只知道局部目标函数不知道fj,j≠i，其中任意局部目标函数fi，是封闭且l-光滑的，即：对于任意的局部目标函数fi满足：||fi(x1)-fi(x2)||≤l||x1-x2||，其中l＞0；全局目标函数F是Lf-光滑的，其中Lf＝ml；正则函数是凸的；即：对于有G(x1)≥G(x2)+(x1-x2)T▽f(x2)；总函数U在上是有下界的；正则函数G和集合是公开信息；所有节点只需通过与邻居节点相互通信，从而协同地求解问题(P)的最优解x*。


3.根据权利要求2所述的分布式异步优化方法，其特征在于，所述步骤S2中，所有节点对所有变量进行初始化设置，具体包括：对于任意节点以及对于t＝-D,…,0，
所有节点将迭代次数k设置为0，再设置一个最大迭代次数kmax作为算法停止迭代更新的准则。


4.根据权利要求3所述的分布式异步优化方法，其特征在于，所述步骤S3中，搭建有向强连通的非平衡源网络具体包括：根据的邻接矩阵，得到行随机矩阵A和列随机矩阵B，并引入矩阵W＝{wij}来表示矩阵A或B；对于节点存在使得对于(j,i)∈ε，存在使得否则，wij＝0，其中，表示矩阵W所有元素...

【专利技术属性】
技术研发人员：李华青，程胡强，胡锦辉，夏大文，王政，吕庆国，冯丽萍，纪良浩，王慧维，郭靖，陈欣，
申请(专利权)人：西南大学，
类型：发明
国别省市：重庆;50