【技术实现步骤摘要】
本专利技术涉及一种批次数据计算系统，更具体的涉及一种可支持由高效参数转换器模型产生的多种任务的批次数据计算系统。
技术介绍
1、以转换器(transformer)为基础的超大深度学习模型已在许多计算器领域中，例如自然语言处理(natural language processing)，被证明具有较佳的性能。然而，超大型的转换器模型需要消耗大量的存储资源，因此若想将转换器模型部署到服务系统上，并支持用户要求的各种下游任务，仍然十分困难。为解决此问题，有研究者提出了高效参数转换器(parameter-efficient transformer，pet)模型。pet模型的概念是以预先训练的模型为基础，针对不同的任务，进行与任务相关的微调，例如新增少部分的运算及参数。由于每个任务所衍生的片段通常只有原来完整的模型所需存储空间的5％，因此可以大大地减少存储资源。然而，由于不同任务所执行的运算可能各不相同，因此传统的推理服务系统难以将不同用户的请求以批次的方式并行处理，导致系统的效能不佳。因此，如何提供一种服务系统，并能够有效地执行pet模型的各种任务已成为亟待解决的问题。
技术实现思路
1、本申请的一实施例提供一种批次数据计算系统，批次数据计算系统包括存储器、任务管理器及推理运算器。所述存储器用以储存多个第一任务所共同对应的第一共享模型参数组及所述多个第一任务中每一个第一任务的任务特定参数组，其中所述多个第一任务是基于第一共享模型所微调产生。所述任务管理器用以存取所述存储器所储存的参数。所述推
2、本申请的另一实施例提供一种推理服务方法。方法所述包括在注册阶段中，将多个第一任务所共同对应的第一共享模型参数组及所述多个第一任务中每一个第一任务的任务特定参数组储存在存储器中，其中所述多个第一任务是基于第一共享模型所微调产生；在服务阶段中，接收多个任务请求；解析所述多个任务请求以得出每一任务请求的数据长度及指定任务；自所述存储器读取每一任务请求的所述指定任务的任务特定参数组及共享模型参数组；将所述多个任务请求中对应至所述第一共享模型的多个第一任务请求分配至多个运算批次；依据所述第一共享模型参数组，批次地执行每一运算批次中多个第一任务请求的多个指定任务的共享运算；及依据每一运算批次中所述多个第一任务请求的所述多个指定任务的多个任务特定参数组执行多个任务特定运算操作。
3、上述本申请的批次数据计算系统及相关方法可以依据任务所使用的模型来对接收到的任务请求进行分类，从而避免重复存取相同的参数。此外，本申请的实施例所提供的批次数据计算系统及相关方法还可以对指定任务不同的多个任务请求进行共同运算的批次运算，也可以对指定任务相同的多个任务请求进行任务特定运算的批次运算，因此能够提高整体的运算性能。
本文档来自技高网...【技术保护点】
1.一种批次数据计算系统，其特征在于，包括：
2.根据权利要求1所述的批次数据计算系统，其特征在于所述任务管理器包括注册模块，用以在注册阶段，接收所述多个第一任务，建立所述多个第一任务的多个第一任务编号，及利用所述多个第一任务编号作为索引来记录所述多个第一任务所对应的共享模型及任务特定运算。
3.根据权利要求2所述的批次数据计算系统，其特征在于所述注册模块还用以在所述注册阶段，接收基于第二共享模型所微调产生的多个第二任务，建立所述多个第二任务的多个第二任务编号，及利用所述多个第二任务编号作为索引来记录所述多个第二任务所对应的共享模型及任务特定运算。
4.根据权利要求3所述的批次数据计算系统，其特征在于所述注册模块还用以在所述注册阶段，建立对应于所述第一共享模型的模型编号及对应于所述第二共享模型的模型编号，及依据所述多个第一任务及所述多个第二任务中每一任务所对应的共享模型，纪录每一任务编号所对应的模型编号。
5.根据权利要求2至4任一项所述的批次数据计算系统，其特征在于所述注册模块还用以在所述注册阶段，建立对应于多个任务特定运算的多个
6.根据权利要求2至4任一项所述的批次数据计算系统，其特征在于：
7.根据权利要求6所述的批次数据计算系统，其特征在于：
8.根据权利要求1至4任一项所述的批次数据计算系统，其特征在于：
9.根据权利要求1至4任一项所述的批次数据计算系统，其特征在于，所述推理执行模块还包括多个特定运算模块，用以执行所述多个第一任务所对应的多个任务特定运算操作。
10.一种推理服务方法，其特征在于，包括：
11.根据权利要求10所述的方法，其特征在于，还包括：
12.根据权利要求11所述的方法，其特征在于，还包括：
13.根据权利要求12所述的方法，其特征在于，还包括：
14.根据权利要求11至13任一项所述的方法，其特征在于还包括：
15.根据权利要求11至13任一项所述的方法，其特征在于：
16.根据权利要求10至13任一项所述的方法，其特征在于：
...【技术特征摘要】
1.一种批次数据计算系统，其特征在于，包括：
2.根据权利要求1所述的批次数据计算系统，其特征在于所述任务管理器包括注册模块，用以在注册阶段，接收所述多个第一任务，建立所述多个第一任务的多个第一任务编号，及利用所述多个第一任务编号作为索引来记录所述多个第一任务所对应的共享模型及任务特定运算。
3.根据权利要求2所述的批次数据计算系统，其特征在于所述注册模块还用以在所述注册阶段，接收基于第二共享模型所微调产生的多个第二任务，建立所述多个第二任务的多个第二任务编号，及利用所述多个第二任务编号作为索引来记录所述多个第二任务所对应的共享模型及任务特定运算。
4.根据权利要求3所述的批次数据计算系统，其特征在于所述注册模块还用以在所述注册阶段，建立对应于所述第一共享模型的模型编号及对应于所述第二共享模型的模型编号，及依据所述多个第一任务及所述多个第二任务中每一任务所对应的共享模型，纪录每一任务编号所对应的模型编号。
5.根据权利要求2至4任一项所述的批次数据计算系统，其特征在于所述注册模块还用以在所述注册阶段，建立对应于多个任务特定运算的多个特定...
【专利技术属性】
技术研发人员：魏学超，周哲，张洁靖，李思成，陈彦光，石弼钊，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。