一种智能加速卡及基于智能加速卡的数据处理方法技术

本申请实施例公开了一种智能加速卡及基于智能加速卡的数据处理方法。在智能加速卡上配置有计算资源和操作系统，操作系统至少划分出内核和用户空间，分别用于控制计算资源和运行应用程序，将智能加速卡的物理硬件提供的计算资源在用户空间中映射有多个容器，应用程序对计算资源的调用可以在容器中实现，从而隔离应用程序之间的运行，避免互相干扰。应用程序对计算资源的调用过程中，用户空间的应用程序发出的数据处理请求后，由内核劫持该数据处理请求并确定与该数据处理请求匹配的计算资源的资源分配信息，可以实现资源调度与管理，提升资源的利用率，用户空间基于该资源分配信息可以调用对应的计算资源执行与数据处理请求对应的数据处理操作。对应的数据处理操作。对应的数据处理操作。

【技术实现步骤摘要】
一种智能加速卡及基于智能加速卡的数据处理方法


[0001]本申请涉及数据处理
，具体涉及一种基于智能加速卡的数据处理方法、一种基于智能加速卡的数据处理装置、一种操作系统、一种智能加速卡。

技术介绍

[0002]智能加速卡作为一种加速器芯片，在对计算资源要求较高的应用需求，比如机器学习，特别是深度学习中得到广泛的应用。
[0003]企业、学校、医院或者管理部门，在人工智能领域进行投入时，通常需要购买大量智能加速卡以获得充分的计算资源。而实际应用中，发现智能加速卡的计算资源的使用存在如下问题：
[0004]1)智能加速卡采购成本比较高，计算资源非常昂贵，随着日益增长的计算需求，计算资源总是不够使用。同时由于技术发展的限制，在实际使用中，计算资源比较难于共享，从而导致浪费和不足的情况并存。
[0005]2)使用场景的需求较高，做机器学习训练时，需要大量计算资源且需要长时间使用，做在线推理时需要及时响应，特别是开发、培训、课程实训等场景的并发用户数会很多，需要计算资源充足才可以满足大量用户的及时响应。
[0006]3)机器学习的计算环境搭建和配置非常复杂，且通常情况下数据工程师不擅长，如何优化计算资源的使用具有比较大的挑战。

技术实现思路

[0007]鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的基于智能加速卡的数据处理方法、一种基于智能加速卡的数据处理装置、操作系统、智能加速卡。
[0008]依据本申请的一个方面，提供了一种基于智能加速卡的数据处理方法，所述智能加速卡上配置有提供计算资源的一种或多种加速芯片以及操作系统，所述操作系统中至少划分出控制计算资源的内核和运行应用程序的用户空间，所述计算资源在所述用户空间中映射有多个容器；所述方法包括：
[0009]所述内核从用户空间获取应用程序的数据处理请求，并确定与所述数据处理请求匹配的计算资源的资源分配信息；
[0010]所述用户空间基于确定的资源分配信息，在所述应用程序对应的容器中，调用计算资源执行与所述数据处理请求对应的数据处理操作。
[0011]可选的，所述内核从用户空间获取应用程序的数据处理请求包括：
[0012]劫持内核中通用并行计算架构的驱动接口，获取从所述用户空间发送至内核的数据处理请求。
[0013]可选的，所述确定与所述数据处理请求匹配的计算资源的资源分配信息包括：
[0014]从所述一种或多种加速芯片提供的计算资源中，确定与所述数据处理请求匹配的
资源种类、资源切分比例以及资源占用时间中的一种或多种。
[0015]可选的，所述确定与所述数据处理请求匹配的计算资源的资源分配信息包括：
[0016]根据计算资源标记的资源占用时间，从可用的计算资源中确定与所述数据处理请求匹配的计算资源的资源分配信息。
[0017]可选的，在所述确定与所述数据处理请求匹配的计算资源的资源分配信息之后，所述方法还包括：
[0018]所述用户空间查找所述应用程序对应的资源购买方的资源购买信息；
[0019]若所述资源分配信息超出所述资源购买信息对应的范围，则提示资源无法使用。
[0020]可选的，所述方法还包括：
[0021]所述用户空间基于配置接口获取所述应用程序对应的资源购买方的资源购买信息；
[0022]基于所述资源购买信息对与所述资源购买方对应的容器进行参数配置，所述容器参数包括计算资源的资源种类、资源切分比例。
[0023]可选的，所述方法还包括：
[0024]所述用户空间对所述计算资源在所述用户空间中映射的多个容器进行管理，包括容器创建、容器启动、容器停止、容器任务转移中至少一种。
[0025]可选的，所述方法还包括：
[0026]在资源占用时间结束后，将占用的计算资源释放，以用于其他数据处理请求的处理。
[0027]可选的，所述确定与所述数据处理请求匹配的计算资源的资源分配信息包括：
[0028]根据数据处理请求所来源的应用程序、所述运行程序运行的人工智能模型、对应的处理操作类型、预估的本次计算量、处理对象中的一种或多种，确定与所述数据处理请求匹配的计算资源的资源分配信息。
[0029]依据本申请的另一个方面，还提供了一种基于智能加速卡的数据处理装置，包括：
[0030]请求获取模块,用于通过所述内核从用户空间获取应用程序的数据处理请求；
[0031]资源分配获取模块，用于确定与所述数据处理请求匹配的计算资源的资源分配信息；
[0032]请求处理模块，用于通过所述用户空间基于确定的资源分配信息，在所述应用程序对应的容器中，调用计算资源执行与所述数据处理请求对应的数据处理操作。
[0033]依据本申请的另一个方面，还提供了一种操作系统，部署于智能加速卡，所述智能加速卡上配置有提供计算资源的一种或多种加速芯片，所述操作系统中至少划分出控制计算资源的内核和运行应用程序的用户空间，所述计算资源在所述用户空间中映射有多个容器；
[0034]所述内核，用于从用户空间获取所述应用程序的数据处理请求，并确定与所述数据处理请求匹配的计算资源的资源分配信息；
[0035]所述用户空间，用于基于确定的资源分配信息，在所述应用程序对应的容器中，调用计算资源执行与所述数据处理请求对应的数据处理操作。
[0036]依据本申请的另一个方面，还提供了一种智能加速卡，所述智能加速卡上配置有提供计算资源的一种或多种加速芯片以及操作系统，所述操作系统中至少划分出控制计算
资源的内核和运行应用程序的用户空间，所述计算资源在所述用户空间中映射有多个容器；
[0037]所述内核，用于从用户空间获取应用程序的数据处理请求，并确定与所述数据处理请求匹配的计算资源的资源分配信息；
[0038]所述用户空间，用于基于确定的资源分配信息，在所述应用程序对应的容器中，调用计算资源执行与所述数据处理请求对应的数据处理操作。
[0039]依据本申请实施例，在智能加速卡上配置有计算资源和操作系统，操作系统至少划分出内核和用户空间，分别用于控制计算资源和运行应用程序，将智能加速卡的物理硬件提供的计算资源在用户空间中映射有多个容器，应用程序对计算资源的调用可以在容器中实现，从而隔离应用程序之间的运行，避免互相干扰。
[0040]应用程序对计算资源的调用过程中，用户空间的应用程序发出的数据处理请求后，由内核劫持该数据处理请求并确定与该数据处理请求匹配的计算资源的资源分配信息，可以更好地对计算资源进行分配，实现资源调度与管理，提升资源的利用率，用户空间基于该资源分配信息可以进一步调用对应的计算资源执行与数据处理请求对应的数据处理操作。
[0041]并且，由于数据处理请求的劫持和资源分配在内核完成，与用户空间隔离，可以减少对用户空间的入侵和干扰。
[0042]上述对计算资源的调用可以部署在云端，向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智能加速卡的数据处理方法，其特征在于，所述智能加速卡上配置有提供计算资源的一种或多种加速芯片以及操作系统，所述操作系统中至少划分出控制计算资源的内核和运行应用程序的用户空间，所述计算资源在所述用户空间中映射有多个容器；所述方法包括：所述内核从用户空间获取应用程序的数据处理请求，并确定与所述数据处理请求匹配的计算资源的资源分配信息；所述用户空间基于确定的资源分配信息，在所述应用程序对应的容器中，调用计算资源执行与所述数据处理请求对应的数据处理操作。2.根据权利要求1所述的方法，其特征在于，所述内核从用户空间获取应用程序的数据处理请求包括：劫持内核中通用并行计算架构的驱动接口，获取从所述用户空间发送至内核的数据处理请求。3.根据权利要求1所述的方法，其特征在于，所述确定与所述数据处理请求匹配的计算资源的资源分配信息包括：从所述一种或多种加速芯片提供的计算资源中，确定与所述数据处理请求匹配的资源种类、资源切分比例以及资源占用时间中的一种或多种。4.根据权利要求1所述的方法，其特征在于，所述确定与所述数据处理请求匹配的计算资源的资源分配信息包括：根据计算资源标记的资源占用时间，从可用的计算资源中确定与所述数据处理请求匹配的计算资源的资源分配信息。5.根据权利要求1所述的方法，其特征在于，在所述确定与所述数据处理请求匹配的计算资源的资源分配信息之后，所述方法还包括：所述用户空间查找所述应用程序对应的资源购买方的资源购买信息；若所述资源分配信息超出所述资源购买信息对应的范围，则提示资源无法使用。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述用户空间基于配置接口获取所述应用程序对应的资源购买方的资源购买信息；基于所述资源购买信息对与所述资源购买方对应的容器进行参...

【专利技术属性】
技术研发人员：王名发，张伟丰，王富，
申请(专利权)人：阿里巴巴新加坡控股有限公司，
类型：发明
国别省市：