【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种基于推理embedding加速芯片的数据搬运方法。
技术介绍
1、嵌入表（embedding）模型是大语言模型，为搜索推广领域当中的关键技术。尤其是对电商、短视频、社交媒体、搜索以及知识图谱等等业务场景的贡献。embedding可以很好的将文字或者视频通过特征转换的方式来转换到高维语义空间表示。
2、由于需要嵌入表示的物料数量级及其庞大，实际业务中嵌入表的规模极其庞大，搜索推广领域的模型主要分为 2 部分：sparse （即多embedding的组合）和dense（稠密网络结构）两部分。
3、专利技术人在实现本专利技术的过程中，发现现有技术存在如下缺陷：目前，对于推理业务场景来说，sparse对应的多embedding的图形处理器查找解决方案，无论串行执行还是并行执行，极大的影响了推理效率，产生了成本浪费。另外的，embedding 的查找其瓶颈主要为显存的带宽，因此每条指令的理论执行时间严重影响了带宽的利用率和推理链路的整体效率和人工智能加速器的利用率。
技术实现思路
1、本专利技术提供了一种基于推理embedding加速芯片的数据搬运方法，以实现提高对带宽利用率和推理效率的提高。
2、根据本专利技术的一方面，提供了一种基于推理embedding加速芯片的数据搬运方法，其中，包括：
3、获取当前待处理的数据搬运任务组，并对所述当前待处理的数据搬运任务组对应的至少一个当前待处理的数据搬运任务的进行解
4、其中，各所述当前数据搬运任务解析结果包括特征id、数据读搬运起始地址、数据写搬运起始地址、数据搬运长度和任务搬运状态；
5、通过预先配置的至少一个embedding table，来分别根据各当前数据搬运任务解析结果对当前待处理的数据搬运任务进行处理，得到数据搬运任务完成结果；
6、其中，各所述embedding table是基于推理embedding加速芯片来配置的；
7、将各所述数据搬运任务完成结果向用户进行反馈处理。
8、根据本专利技术的另一方面，提供了一种基于推理embedding加速芯片的数据搬运装置，其中，包括：
9、当前数据搬运任务解析结果确定模块，用于获取当前待处理的数据搬运任务组，并对所述当前待处理的数据搬运任务组对应的至少一个当前待处理的数据搬运任务的进行解析，得到各当前数据搬运任务解析结果；
10、其中，各所述当前数据搬运任务解析结果包括特征id、数据读搬运起始地址、数据写搬运起始地址、数据搬运长度和任务搬运状态；
11、数据搬运任务完成结果确定模块，用于通过预先配置的至少一个embeddingtable，来分别根据各当前数据搬运任务解析结果对当前待处理的数据搬运任务进行处理，得到数据搬运任务完成结果；
12、其中，各所述embedding table是基于推理embedding加速芯片来配置的；
13、数据搬运任务完成结果反馈模块，用于将各所述数据搬运任务完成结果向用户进行反馈处理。
14、根据本专利技术的另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本专利技术任一实施例所述的基于推理embedding加速芯片的数据搬运方法。
15、根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的基于推理embedding加速芯片的数据搬运方法。
16、本专利技术实施例的技术方案，通过获取当前待处理的数据搬运任务组，并对所述当前待处理的数据搬运任务组对应的至少一个当前待处理的数据搬运任务的进行解析，得到各当前数据搬运任务解析结果；其中，各所述当前数据搬运任务解析结果包括特征id、数据读搬运起始地址、数据写搬运起始地址、数据搬运长度和任务搬运状态；通过预先配置的至少一个embedding table，来分别根据各当前数据搬运任务解析结果对当前待处理的数据搬运任务进行处理，得到数据搬运任务完成结果；其中，各所述embedding table是基于推理embedding加速芯片来配置的；将各所述数据搬运任务完成结果向用户进行反馈处理。解决了现有数据搬运技术中效率低和带宽利用率低的问题，实现了带宽利用率和推理效率的提高。
17、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种基于推理embedding加速芯片的数据搬运方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述通过预先配置的至少一个embeddingtable，来分别根据各当前数据搬运任务解析结果对当前待处理的数据搬运任务进行处理，得到数据搬运任务完成结果，包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求3所述的方法，其特征在于，所述获取各当前待处理的数据搬运任务分别对应的特征ID、数据读搬运起始地址、数据搬运长度和缓冲区地址，并通过至少一个embedding table，将各当前待处理的数据搬运任务对应的数据从数据搬运起始地址搬运到缓冲区地址中，包括：
5.根据权利要求4所述的方法，其特征在于，所述如果任务搬运状态为开始写搬运状态，则获取各当前待处理的数据搬运任务对应的特征ID、数据写搬运起始地址、数据搬运长度、缓冲区地址和输出地址列表，并通过至少一个embedding table，将各当前待处理的数据搬运任务对应的数据从缓冲区地址并行地搬运到所述输出地址列表对应的各输出地址中，包括：<...
【技术特征摘要】
1.一种基于推理embedding加速芯片的数据搬运方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述通过预先配置的至少一个embeddingtable，来分别根据各当前数据搬运任务解析结果对当前待处理的数据搬运任务进行处理，得到数据搬运任务完成结果，包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求3所述的方法，其特征在于，所述获取各当前待处理的数据搬运任务分别对应的特征id、数据读搬运起始地址、数据搬运长度和缓冲区地址，并通过至少一个embedding table，将各当前待处理的数据搬运任务对应的数据从数据搬运起始地址搬运到缓冲区地址中，包括：
5.根据权利要求4所述的方法，其特征在于，所述如果任务搬运状态为开始写搬运状态，则获取各当前待处理的数据搬运任务对应的特征id、数据写搬运起始地址、数据搬运长度、...
【专利技术属性】
技术研发人员：李志鹏，张亚林，黄薛蓉，
申请(专利权)人：上海燧原智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。