本发明专利技术涉及一种基于压缩数据直接计算的智能负载处理方法和系统，包括以下步骤：基于给定的定义了原始模型逐层结构的代码文件，判断该原始模型是否满足压缩数据直接计算优化条件，若满足，则进入下一步骤；否则按照常规训练方式展开模型训练；基于LSH聚类算法对输入矩阵进行压缩，并将LSH聚类算法对应的压缩过程参数与原始模型的权重参数联合作为网络参数进行训练，得到结果模型；利用结果模型对输入矩阵进行直接计算，得到数据处理结果。本发明专利技术可以广泛应用于大数据处理技术领域。明可以广泛应用于大数据处理技术领域。明可以广泛应用于大数据处理技术领域。
【技术实现步骤摘要】
一种基于压缩数据直接计算的智能负载处理方法和系统
[0001]本专利技术涉及一种基于压缩数据直接计算的智能负载处理方法和系统，属于大数据处理
技术介绍
[0002]随着深度学习技术的通用性逐渐增强，深度学习技术广泛普及。一方面，轻量级模型负载被越来越广泛地应用于如机器人、自动驾驶运动控制、流媒体视觉系统等物联网领域中，加速社会智能化。另一方面，日益增长的超大规模模型负载越来越深入地应用于如医学影像分析、分子动力学模拟、天体目标分类等各类专业学科领域，推动科技发展。
[0003]在深度学习技术赋能各领域突破技术壁垒的同时，其经验和知识也反馈到深度学习
，促成深度学习模型的代际演化。此外，在配备大量并行处理单元的高算力处理核心(如图形处理单元GPU)的问世、存储资源的升级和扩展，以及丰富且有效的超大规模数据集的加持下，深度学习模型逐渐呈现出更深层次和更复杂的趋势。自2018年谷歌提出BERT模型以来，以BERT、GPT等为代表的模型向着“超大规模”方向发展。如今，模型参数已经扩张到万亿规模，例如2021年发布的GLM模型拥有1.75万亿参数，远超2020年刚升级为1750亿参数的GPT
‑
3模型。具有如此庞大的参数量的模型，更需要超大规模的训练数据才能充分施展能力，目前COCO、Criteo等人工标注类数据集已达GB级，更有PanGu、WuDao等TB级无标注数据集供模型设计者使用。
[0004]然而，随着模型和数据集规模的盘旋扩张，模型训练、推理负载所需的巨额计算成本在深度学习前沿已变得显而易见，这是硬件资源升级和模型设计双方面需要面对的严峻挑战。如果无法提高负载处理性能，计算量的限制将会挚肘深度学习领域的进一步发展。现有的技术一般集中在两个方向，其一是使用为深度学习专门设计的处理器，如GPU、FPGA等，这些方法提高了专业化效率，但牺牲了通用性；其二是降低模型负载的模型压缩方法，通过剪枝、量化等技术消除模型参数内的冗余性，降低参数量。压缩类方法本质上降低了模型推理的计算复杂度，对实时应用场景的推理加速显示了巨大的潜力，但现有的解决方案囿于压缩模型参数之中存在的恒久冗余，这类冗余一经模型训练完成则不会轻易发生改变。
[0005]除恒久冗余之外，超大规模输入数据之中存在的瞬态冗余尚未受到足够的重视。瞬态冗余产生于输入图像或特征图谱，表现为其中相似的块(相邻神经元的组合)。与恒久冗余不同，瞬态冗余必须在每次推理中被检测和去除，这对离线方法来说是难以捉摸的。尽管存在少数研究在图像和视频中观察到了瞬态冗余，但对它的理解远不如恒久冗余。一些研究以专用的方式处理瞬态冗余，例如，深度重用技术在卷积操作之前把输入图像或神经图谱从DNN流水线抽离出来，转移到随机生成的在线聚类组建中检测内部冗余，然后将结果重定向回DNN。这种临时处理性能随机性极高，例如在不同运行中存在超过5％的准确率波动，这对于超大规模模型而言是毁灭性的消息，因为模型训练已然为提高5％的准确率而消耗了天价成本。出现这样的问题是因为现有技术对瞬态冗余缺乏基础理解，例如：
[0006]1、如何达到最佳设置，使消除冗余造成的精度损失最小，同时使消除的冗余最大
化？
[0007]2、如何确保瞬态冗余消除在不同的运行中具有稳健的推理性能？
[0008]3、如何尽量减少瞬态冗余消除对模型收敛训练结果的干扰？
技术实现思路
[0009]针对上述问题，本专利技术的目的是提供一种基于压缩数据直接计算的智能负载处理方法和系统，能在超负荷推理负载中应用压缩数据直接处理技术以支持大规模模型的部署和应用。
[0010]为实现上述目的，本专利技术采取以下技术方案：
[0011]第一方面，本专利技术提供一种基于压缩数据直接计算的智能负载处理方法，包括以下步骤：
[0012]基于给定的定义了原始模型逐层结构的代码文件，判断该原始模型是否满足压缩数据直接计算优化条件，若满足，则进入下一步骤；否则按照常规训练方式展开模型训练；
[0013]基于LSH聚类算法对输入矩阵进行压缩，并将LSH聚类算法对应的压缩过程参数与原始模型的权重参数联合作为网络参数进行训练，得到结果模型；
[0014]利用结果模型对输入矩阵进行直接计算，得到数据处理结果。
[0015]进一步，所述压缩数据直接计算优化条件的判断包括：
[0016]判断原始模型中是否存在包含矩阵运算的模型层；
[0017]对包含矩阵运算的模型层，根据其参数维度判断该模型层是否属于计算密集型；若属于计算密集型，则判定该原始模型满足压缩数据直接计算优化条件。
[0018]进一步，所述基于LSH聚类算法对输入矩阵进行压缩，并将LSH聚类算法对应的压缩过程参数与原始模型的权重参数联合作为网络参数进行训练，得到结果模型，包括：
[0019]建立基于LSH聚类算法的卷积算子架构作为前向传播机制，对输入矩阵的瞬态冗余进行检测和消除；
[0020]建立基于二值近似和进制转换的反向传播机制，用于将LSH聚类算法中的非连续性条件转换为连续性条件；
[0021]将基于LSH聚类算法的卷积算子架构对应的压缩过程参数与原始模型的权重参数联合作为网络参数，采用确定的前向传播机制和反向传播机制，以梯度下降更新的方式完成模型训练，得到结果模型。
[0022]进一步，所述基于LSH聚类算法的卷积算子架构的工作流程，包括：
[0023]基于LSH聚类算法对输入矩阵X进行处理，获得输入矩阵X的聚簇质心矩阵X
c
；
[0024]将聚簇质心矩阵X
c
与原始模型对应的权重矩阵W进行矩阵乘法，得到质心结果矩阵Y
c
；
[0025]将质心结果矩阵Y
c
恢复至原始模型卷积层理论输出大小，得到最终输出矩阵Y。
[0026]进一步，所述基于LSH聚类算法对输入矩阵X进行处理，获得输入矩阵X的聚簇质心矩阵X
c
，包括：
[0027]将输入矩阵X垂直分片成L组，其中，L为哈希函数矩阵的行数；
[0028]对展开后的输入矩阵X应用哈希函数矩阵，得到具有H个哈希向量的投影矩阵，其中，H为哈希函数矩阵的列数；
[0029]对投影矩阵执行逐元素的二进制映射，得到一个比特矩阵；
[0030]将比特矩阵的每个行向量视为二进制表示，通过进制映射，将比特矩阵的每个行向量转换为十进制值；其中，这些整数值表示输入矩阵X中神经元向量的聚簇编号；
[0031]根据聚簇编号将输入矩阵X整理为聚簇质心矩阵X
c
，聚簇质心矩阵X
c
中每个行向量代表一个质心向量。
[0032]进一步，所述LSH反向传播机制的工作流程，包括：
[0033]基于二值近似和进制转换，对输入矩阵X进行处理，得到聚簇质心矩阵X
c
；
[0034]将聚簇质心矩阵X
c...
【技术保护点】
【技术特征摘要】
1.一种基于压缩数据直接计算的智能负载处理方法，其特征在于包括以下步骤：基于给定的定义了原始模型逐层结构的代码文件，判断该原始模型是否满足压缩数据直接计算优化条件，若满足，则进入下一步骤；否则按照常规训练方式展开模型训练；基于LSH聚类算法对输入矩阵进行压缩，并将LSH聚类算法对应的压缩过程参数与原始模型的权重参数联合作为网络参数进行训练，得到结果模型；利用结果模型对输入矩阵进行直接计算，得到数据处理结果。2.如权利要求1所述的一种基于压缩数据直接计算的智能负载处理方法，其特征在于，所述压缩数据直接计算优化条件的判断包括：判断原始模型中是否存在包含矩阵运算的模型层；对包含矩阵运算的模型层，根据其参数维度及参数矩阵稀疏性判断该模型层是否属于计算密集型；若属于计算密集型，则判定该原始模型满足压缩数据直接计算优化条件。3.如权利要求1所述的一种基于压缩数据直接计算的智能负载处理方法，其特征在于，所述基于LSH聚类算法对输入矩阵进行压缩，并将LSH聚类算法对应的压缩过程参数与原始模型的权重参数联合作为网络参数进行训练，得到结果模型，包括：建立基于LSH聚类算法的卷积算子架构作为前向传播机制，对输入矩阵的瞬态冗余进行检测和消除；建立基于二值近似和进制转换的反向传播机制，用于将LSH聚类算法中的非连续性条件转换为连续性条件；将基于LSH聚类算法的卷积算子架构对应的压缩过程参数与原始模型的权重参数联合作为网络参数，采用确定的前向传播机制和反向传播机制，以梯度下降更新的方式完成模型训练，得到结果模型。4.如权利要求3所述的一种基于压缩数据直接计算的智能负载处理方法，其特征在于，所述基于LSH聚类算法的卷积算子架构的工作流程，包括：基于LSH聚类算法对输入矩阵X进行处理，获得输入矩阵X的聚簇质心矩阵X
c
；将聚簇质心矩阵X
c
与原始模型对应的权重矩阵W进行矩阵乘法，得到质心结果矩阵Y
c
；将质心结果矩阵Y
c
恢复至原始模型卷积层理论输出大小，得到最终输出矩阵Y。5.如权利要求4所述的一种基于压缩数据直接计算的智能负载处理方法，其特征在于，所述基于LSH聚类算法对输入矩阵X进行处理，获得输入矩阵X的聚簇质心矩阵X
c
，包括：将输入矩阵X垂直分片成L组，其中，L为哈希函数矩阵的行数；对展开后的输入矩阵X应用哈希函数矩阵，得到具有H个哈希向量的投影矩阵，其中，H为哈希函数矩阵的列数；对投影矩阵执行逐元素的二进制映射，得到一个比特矩阵；将比特矩阵的每...
【专利技术属性】
技术研发人员：张峰，官佳薇，杜小勇，
申请(专利权)人：中国人民大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。