边缘计算下模型结构优化的车载感知设备联合学习方法技术

本发明专利技术公开了一种边缘计算下模型结构优化的车载感知设备联合学习方法，包括：根据车载设备所采用的目标检测算法，建立适用于车载设备的神经网络模型作为本地模型，利用中心服务器提供的初始化参数，进行本地模型的训练，并进行本地梯度更新，得到更新后的梯度；对本地模型进行梯度稀疏化、量化本地梯度、无损压缩处理；将量化后的本地梯度和压缩后的二值化掩码矩阵以流水线的形式上传至中心服务器；在车载设备完成本地模型梯度压缩和上传后，由中心服务器进行逐神经元梯度聚合；通过车载设备获取全局的聚合梯度，对本地模型进行更新，利用更新后的模型进行道路感知。用更新后的模型进行道路感知。用更新后的模型进行道路感知。

【技术实现步骤摘要】
边缘计算下模型结构优化的车载感知设备联合学习方法


[0001]本专利技术涉及边缘智能设备的更新领域，具体涉及一种边缘计算下模型结构优化的车载感知设备联合学习方法。

技术介绍

[0002]近年来，以联合学习为核心的隐私保护人工智能计算技术、边缘计算环境下的联合学习得到了国家各部委和产学研各界的高度关注，如何利用有限的计算、通信、数据和能耗资源从而尽可能地提高联合学习的效率成为了该场景的重要核心问题。但随着边缘计算环境下智能应用的急速发展，联合学习面临着计算、通信和数据资源紧缺的难题，从神经网络的模型本地化更新到梯度参数的层级传递，联合学习系统中的通信网络管理和智能计算两个模块之间无法得到充分的交融。目前的许多研究将联合学习简化为计算加通信的模型，将联合学习的优化问题转化为传统的通信和计算的调度问题，严重限制了资源高效利用的联合学习的发展和进步。因此，从模型结构压缩到参数聚合对整个过程进行优化，提高联合学习在有限资源场景下的效率十分必要。
[0003]由于车载边缘设备在计算能力，通信条件和数据分布等方面具有内在的异构性质，这些边缘计算的固有特性降低了联合学习的性能。现有的联合学习研究主要聚焦在算法本身，并不考虑车载设备的通信条件异构性，而联合学习的全局迭代时间由性能最差的车载设备决定，因此异构的通信和计算导致了训练过程时延开销变大；在模型迭代中，中央服务器和客户端之间可能需要多达数百轮的通信，在移动边缘计算中部署联合学习尚未克服移动客户端资源密集的困难，现有的解决方案并不能很好地消除计算、通信、数据资源紧缺的困境，并限制客户端使用相同的神经架构训练模型。
[0004]现有车载边缘设备的神经网络压缩方案要么仅压缩从客户端到服务器的上游通信(保持下游通信未压缩)，要么仅在理想化的条件下表现良好，压缩限制大。同时会出现各种具有不同计算和通信能力的客户端的情况，神经架构难以适应客户的硬件配置。

技术实现思路

[0005]本专利技术的目的是提供一种边缘计算下模型结构优化的车载感知设备联合学习方法，赋能海量车载感知设备共同参与联合学习，提高有限资源场景下的学习效率，从而提高车载设备的道路感知性能。
[0006]为了实现上述任务，本专利技术采用以下技术方案：
[0007]一种边缘计算下模型结构优化的车载感知设备联合学习方法，包括：
[0008]步骤1，模型本地训练
[0009]根据车载设备所采用的目标检测算法，建立适用于车载设备的神经网络模型作为本地模型，利用中心服务器提供的初始化参数，进行本地模型的训练，并进行本地梯度更新，得到更新后的梯度Δ
i,j+1
；
[0010]步骤2，模型结构化压缩
[0011]步骤2.1，梯度稀疏化
[0012]稀疏化本地梯度并获得二值化掩码，稀疏化过程是针对本地模型逐层进行的：
[0013]首先计算每个卷积核的L2范数：
[0014][0015]其中x
i
指第i个卷积核的参数，n为卷积核的总个数；
[0016]其次，每个卷积核根据设定的稀疏化率将较小范数的卷积核梯度置零，去除零梯度张量后将非零梯度张量输出，同时将n个卷积核梯度二值化，零梯度参数置0，非零梯度参数置1，从而输出二值化掩码矩阵M
i,j+1
；
[0017]步骤2.2，量化本地梯度
[0018]对稀疏化后的本地梯度进行量化，为卷积层和全连接层设置固定的量化位宽：
[0019]首先，通过将非零的梯度进行聚类，将数值相近的非零梯度参数当作一类，对同类参数取加权平均可以得到该层梯度的聚类中心真实值，同一类中每个参数共享一个真实值，只存储该值对应的索引值；
[0020]其次，构建一个编码对应表，将真实值用简单的二进制索引值表示，直接把真实值一一对应到索引值即可，从而对量化位宽降进行降低；量化后的本地梯度为
[0021]步骤2.3，无损压缩
[0022]具体的压缩过程分为两部分：一是对量化后的本地梯度进行编码，二是利用矩阵稀疏表示法对二值化掩码矩阵M
i,j+1
进行压缩；其中，编码分为两个步骤：
[0023]首先是构建二叉树：
[0024]根据步骤2.2中各索引值在所有索引值中出现的频率，取两个频率最低的索引值来构造初始二叉树，两者频率值相加作为新元素的频率值，再与其它索引值进行比较，依次取两个最小的不断相加，构造出整个带有权重的二叉树；
[0025]其次是进行编码：
[0026]二叉树分支中左边的支路编码为0，右边分支表示为1，遍历这颗二叉树获取得到所有字符的编码；出现频率越高的字符越会在上层，则它的编码越短；出现频率越低的字符越会在下层，编码越长，最大化缩减整个存储空间；
[0027]步骤3，流水线压缩传输
[0028]将量化后的本地梯度和压缩后的二值化掩码矩阵以流水线的形式上传至中心服务器；
[0029]步骤4，逐神经元聚合
[0030]车载设备完成本地模型梯度压缩和上传后，由中心服务器进行梯度聚合：
[0031]用k表示每个梯度参数的上标，未压缩的本地模型的梯度共有K个参数；在第j次全局迭代中，车载设备i上传的本地压缩后的梯度表示为局迭代中，车载设备i上传的本地压缩后的梯度表示为以及对应的掩码矩阵为全局聚合梯度Δ
j
可以通过逐神经元的方式进行聚合，并表示
为全局梯度的每个元素可以通过以下公式计算：
[0032][0033]其中表示第i个车载设备的本地数据量大小；
[0034]通过逐神经元聚合，得到全局的聚合梯度；在全局聚合梯度中，有些权重在压缩过程中已被裁剪，将保留下来的权重按照加权平均的方式进行聚合作为全局聚合梯度的更新权重；
[0035]步骤5，车载设备获取全局的聚合梯度，对本地模型进行更新，利用更新后的模型进行道路感知，利用实时更新模型提高道路感知的性能。
[0036]进一步地，利用中心服务器提供的初始化参数，进行本地模型的训练，并进行本地梯度更新，得到更新后的梯度Δ
i,j+1
，包括：
[0037]步骤1.1，在中心服务器对神经网络模型进行参数初始化，得到初始化模型参数通过目标数据集对模型迭代训练j次得到初始化全局模型参数存放于中心服务器中；
[0038]步骤1.2，车载设备i从中心服务器下载初始化全局模型的参数不断采集图像数据作为每个车载设备的私有训练数据将其输入到神经网络模型中不断在本地进行更新训练，得到新的模型参数以提升本地模型效果，则本地的更新梯度为：
[0039][0040]进一步地，对于参数大小为O
out
×
O
in
×
k
×
k的卷积层梯度，其中O
out
,O
in
,k分别表示输出通道数、输入通道数、卷积核大小，将大小为k
×
k的二维参数定义为一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边缘计算下模型结构优化的车载感知设备联合学习方法，其特征在于，包括：步骤1，模型本地训练根据车载设备所采用的目标检测算法，建立适用于车载设备的神经网络模型作为本地模型，利用中心服务器提供的初始化参数，进行本地模型的训练，并进行本地梯度更新，得到更新后的梯度；步骤2，模型结构化压缩步骤2.1，梯度稀疏化稀疏化本地梯度并获得二值化掩码，稀疏化过程是针对本地模型逐层进行的：首先计算每个卷积核的L2范数：其中x
i
指第i个卷积核的参数，n为卷积核的总个数；其次，每个卷积核根据设定的稀疏化率将较小范数的卷积核梯度置零，去除零梯度张量后将非零梯度张量输出，同时将n个卷积核梯度二值化，零梯度参数置0，非零梯度参数置1，从而输出二值化掩码矩阵；步骤2.2，量化本地梯度对稀疏化后的本地梯度进行量化，为卷积层和全连接层设置固定的量化位宽：首先，通过将非零的梯度进行聚类，将数值相近的非零梯度参数当作一类，对同类参数取加权平均可以得到该层梯度的聚类中心真实值，同一类中每个参数共享一个真实值，只存储该值对应的索引值；其次，构建一个编码对应表，将真实值用简单的二进制索引值表示，直接把真实值一一对应到索引值即可，从而对量化位宽降进行降低；量化后的本地梯度为；步骤2.3，无损压缩具体的压缩过程分为两部分：一是对量化后的本地梯度进行编码，二是利用矩阵稀疏表示法对二值化掩码矩阵进行压缩；其中，编码分为两个步骤：首先是构建二叉树：根据步骤2.2中各索引值在所有索引值中出现的频率，取两个频率最低的索引值来构造初始二叉树，两者频率值相加作为新元素的频率值，再与其它索引值进行比较，依次取两个最小的不断相加，构造出整个带有权重的二叉树；其次是进行编码：二叉树分支中左边的支路编码为0，右边分支表示为1，遍历这颗二叉树获取得到所有字符的编码；出现频率越高的字符越会在上层，则它的编码越短；出现频率越低的字符越会在下层，编码越长，最大化缩减整个存储空间；步骤3，流水线压缩传输将量化后的本地梯度和压缩后的二值化掩码矩阵以流水线的形式上传至中心服务器；步骤4，逐神经元聚合车载设备完成本地模型梯度压缩和上传后，由中心服务器进行梯度聚合：
用k表示每个梯度参数的上标，未压缩的本地模型的梯度共有K个参数；在第j次全局迭代中，车载设备i上传的本地压缩后的梯度表示为代中，车载设备i上传的本地压缩后的梯度表示为以及对应的掩码矩阵为全局聚合梯度Δ
j
可以通过逐神经元的方式进行聚合，并表示为全局梯度的每个元素可以通过以下公式计算：其中表示第i个车载设备的本地数据量大小；通过逐神经元聚合，得到全局的聚合梯度；在全局聚合梯度中，有些权重在压缩过程中已被裁剪，将保留下来的权重按照加权平均的方式进行聚合作为全局聚合梯度的更新权重；步骤5，车载设备获取全局的聚合梯度，对本地模型进行更新，利用更新后的模型进行道路感知，利用实时更新模型提高道路感知的性能。2.根据权利要求1所述的边缘计算下模型结构优化的车载感知设备联合学习方法，其特征在于，利...

【专利技术属性】
技术研发人员：黄泽茵，李贺，李柔仪，李培春，余荣，谭北海，朱璟，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：