本申请公开了一种数据处理方法以及数据处理系统，应用于AI芯片的应用领域中。该方法包括：基于目标程序获取目标进程识别号PID，该目标程序为AI芯片协同执行的程序，该目标PID为目标程序对应的进程的PID。然后，基于目标PID获取第一占用率，该第一占用率表示目标PID对应的进程占用AI芯片的资源的状态，接着，在第一占用率超过第二占用率的情况下，停止执行目标进程，其中目标进程为第一占用率超过第二占用率的进程，该第二占用率为目标PID对应的进程占用AI芯片的资源的阈值。本申请在第一占用率超过第二占用率的情况下，停止执行目标进程能释放目标进程多占用的资源，确保其他程序的正常运行，同时减少硬件的辅助成本，且能广泛应用于使用AI芯片的领域。泛应用于使用AI芯片的领域。泛应用于使用AI芯片的领域。
【技术实现步骤摘要】
一种数据处理方法以及数据处理系统
[0001]本申请实施例涉及通信领域，尤其涉及一种数据处理方法以及数据处理系统。
技术介绍
[0002]随着人工智能(artificial intelligence，AI)技术的飞速发展，也伴随着越来越多的AI芯片的出现以及应用，AI芯片可以支持运行多个不同的程序，完成不同的功能。AI芯片的资源通常会大于一个程序的资源需求，因此为了避免浪费AI资源，期望在一个AI芯片上同时运行多个程序，以最大化资源利用率。
[0003]目前为了尽可能提高AI资源的利用率，通常采用硬件辅助的AI芯片虚拟化技术来实现。例如将一个AI芯片虚拟化分为多个独立的虚拟AI芯片，使得每个独立的虚拟AI芯片分别协同处理对应的程序。由此一个AI芯片能同时协同处理多个程序，最大化利用AI芯片资源。
[0004]但是，AI芯片虚拟化技术需要硬件的辅助，对AI芯片要求较高，实现成本较大，且对于没有硬件辅助的AI芯片来说，难以实现AI芯片的虚拟化以提高AI芯片资源的利用率。
技术实现思路
[0005]本申请提供了一种数据处理方法以及数据处理系统，应用于AI芯片的应用领域，基于AI芯片协同执行的程序对应的进程的PID获取进程占用AI芯片的资源的占用率，然后在该占用率超过占用AI芯片的资源的阈值的情况下，停止执行该占用率对应的进程，能够释放多占用的资源，以保证其他程序的正常运行，同时能减少硬件的辅助成本，广泛应用于使用AI芯片的领域。
[0006]第一方面，提供了一种数据处理方法，包括：<br/>[0007]基于目标程序获取目标进程识别号(process identification，PID)，其中目标程序为AI芯片协同执行的程序，目标PID为目标程序对应的进程的PID。
[0008]接着，基于目标PID获取第一占用率，该第一占用率表示目标PID对应的进程占用AI芯片的资源的状态。
[0009]然后，在第一占用率超过第二占用率的情况下，停止执行目标进程。其中，目标进程为第一占用率超过第二占用率的进程，且第二占用率为目标PID对应的进程占用AI芯片的资源的阈值。
[0010]在本申请的实施方式中，基于目标程序获取目标PID，然后基于目标PID获取第一占用率，该第一占用率表示目标PID对应的进程占用AI芯片的资源的状态，且在第一占用率超过第二占用率的情况下，停止执行目标进程，该第二占用率为目标PID对应的进程占用AI芯片的资源的阈值。其中，在第一占用率超过第二占用率的情况下，停止执行目标进程，能释放多占用的资源，以保证其他的程序正常运行，且能减少硬件的辅助成本，广泛应用于AI芯片的领域。
[0011]在第一方面的一种可能的实现方式中，在停止执行目标进程之后，再次执行目标
进程。具体地，在停止执行目标进程之后，在一定的时间段后，重新执行目标进程对应的程序。
[0012]在本申请的实施方式中，在停止执行目标进程之后，在一定时间段后再执行目标进程对应的程序，能释放目标进程多占用的资源，且同时能正常执行该程序，避免影响程序的正常运行。
[0013]在第一方面的一种可能的实现方式中，本申请提供的方法在操作系统的内核态或用户态下执行。
[0014]在本申请的实施方式中，本申请提供的方法在操作系统的内核态或用户态下执行，体现了方案的可选择性，适用于更多的应用场景。
[0015]在第一方面的一种可能的实现方式中，获取第三占用率，该第三占用率表示AI芯片的资源被占用的总体状态。
[0016]在本申请的实施方式中，还获取第三占用率，用于了解AI芯片的资源被占用的总体状态，提升方案的适应性以及灵活性。
[0017]在第一方面的一种可能的实现方式中，可以基于显示进程记载第一占用率和/或第三占用率，该显示进程为预设的程序对应的进程。或者，可以基于虚拟文件系统记载第一占用率和/或第三占用率。
[0018]在本申请的实施方式中，可以基于显示进程或者虚拟文件系统记载第一占用率和/或第三占用率，体现了方案的多样性，且能适用多样的应用场景。
[0019]在第一方面的一种可能的实现方式中，可以通过日志、TRAP或告警等任意一种方式记录目标PID以及对应的第一占用率，和/或目标进程。
[0020]在本申请的实施方式中，通过日志、TRAP或告警等任意一种方式记录目标PID以及对应的第一占用率，和/或目标进程，能够便于定位目标进程占用资源超过阈值的问题，或能提醒网络管理员出现异常，以便于尽快定位问题。
[0021]在第一方面的一种可能的实现方式中，AI芯片的资源至少包括AI芯片设备(device)内存、AI加速资源或编解码资源。可以理解的是，还包括AI芯片中的其他用于支撑进程执行的资源，具体此处不做限定。
[0022]在本申请的实施方式中，AI芯片的资源至少包括AI芯片device内存、AI加速资源或编解码资源中的任意一项。明确了AI芯片的资源的具体形式，体现了方案的可靠性。
[0023]第二方面，本申请提供了一种数据处理方法，包括：
[0024]基于目标PID获取第一占用率，其中，目标PID为AI芯片协同执行的程序对应的进程的PID，第一占用率表示目标PID对应的进程占用AI芯片的资源的状态；
[0025]然后，发送第一占用率；
[0026]接着，在第一占用率超过第二占用率的情况下停止执行目标进程，目标进程为第一占用率超过第二占用率的进程，第二占用率为目标PID对应的进程占用AI芯片的资源的阈值。
[0027]在本申请的实施方式中，基于目标PID获取第一占用率，然后发送第一占用率，在第一占用率超过第二占用率的情况下停止执行目标进程，可以释放目标进程多占用的AI芯片的资源，保证AI芯片协同执行的其他程序的正常运行。
[0028]在第二方面的一种可能的实现方式中，获取第三占用率，该第三占用率表示所述
AI芯片的资源被占用的总体状态。
[0029]然后，发送该第三占用率。
[0030]在本申请的实施方式中，获取第三占用率并发送，以便于了解当前AI芯片的资源被占用的总体状态，体现了方案的多样性，且能适用多样的应用场景。
[0031]在第二方面的一种可能的实现方式中，AI芯片的资源至少包括AI芯片device内存、AI加速资源或编解码资源。可以理解的是，还包括AI芯片中的其他用于支撑进程执行的资源，具体此处不做限定。
[0032]在本申请的实施方式中，AI芯片的资源至少包括AI芯片device内存、AI加速资源或编解码资源中的任意一项。明确了AI芯片的资源的具体形式，体现了方案的可靠性。
[0033]第三方面，提供了一种数据处理系统，该数据处理系统具有实现上述第一方面、第一方面任意一种可能实现方式、第二方面或第二方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：基于目标程序获取目标进程识别号PID，所述目标程序为人工智能AI芯片协同执行的程序，所述目标PID为所述目标程序对应的进程的PID；基于所述目标PID获取第一占用率，所述第一占用率表示所述目标PID对应的进程占用所述AI芯片的资源的状态；在所述第一占用率超过第二占用率的情况下，停止执行目标进程，所述目标进程为所述第一占用率超过所述第二占用率的进程，所述第二占用率为所述目标PID对应的进程占用所述AI芯片的资源的阈值。2.根据权利要求1所述的方法，其特征在于，在所述停止执行目标进程之后，所述方法还包括：执行所述目标进程对应的程序。3.根据权利要求1或2所述的方法，其特征在于，该方法在操作系统的内核态或用户态下执行。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述方法还包括：获取第三占用率，所述第三占用率表示所述AI芯片的资源被占用的总体状态。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，所述方法还包括：基于显示进程记载所述第一占用率和/或所述第三占用率，所述显示进程为预设的程序对应的进程；或，基于虚拟文件系统记载所述第一占用率和/或所述第三占用率。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述方法还包括：通过日志、TRAP或告警任意一种方式记录所述目标PID以及对应的所述第一占用率，和/或所述目标进程。7.根据权利要求1
‑
6中任一项所述的方法，其特征在于，所述AI芯片的资源至少包括以下任意一项：AI芯片设备内存、AI加速资源或编解码资源。8.一种数据处理方法，其特征在于，包括：基于目标进程识别号PID获取第一占用率，所述目标PID为人工智能AI芯片协同执行的程序对应的进程的PID，所述第一占用率表示所述目标PID对应的进程占用所述AI芯片的资源的状态；发送所述第一占用率；在所述第一占用率超过第二占用率的情况下停止执行目标进程，所述目标进程为所述第一占用率超过所述第二占用率的进程，所述第二占用率为所述目标PID对应的进程占用所述AI芯片的资源的阈值。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：获取第三占用率，所述第三占用率表示所述AI芯片的资源被占用的总体状态；发送所述第三占用率。10.根据权利要求8或9所述的方法，其特征在于，所述AI芯片的资源至少包括以下任意一项：
AI芯片设备内存、AI加速资源或编解码资源。11.一种数据处理系统，其特征在于，所述数据处理系统包括：中央处理器CPU以及人工智能AI芯片；所述CPU，用于基于目标...
【专利技术属性】
技术研发人员：倪小珂，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。