本申请实施例提供一种数据布局优化方法、装置、电子设备及存储介质，所述方法包括：从模型的多个算子中确定目标算子，并针对每个目标算子分别执行适配处理，直到遍历至模型的输出端；适配处理包括：获取目标算子的输入张量与目标算子在数据布局上的适配结果；其中，输入张量携带数据布局的第一差异信息；根据适配结果确定携带于目标算子的输出张量的第二差异信息；根据模型的输出张量携带的第三差异信息确定在模型的输出端插入的转置算子。张量的数据布局优化在逐层推导的过程中完成。通过逐层推导的方式只需一次图遍历即可完成数据布局优化，提高了模型的运行效率。在面对复杂的模型结构时，可通过逐层推导的方式对数据布局优化进行分步处理。化进行分步处理。化进行分步处理。
【技术实现步骤摘要】
一种数据布局优化方法、装置、电子设备及存储介质
[0001]本申请涉及深度学习
，具体而言，涉及一种数据布局优化方法、装置、电子设备及存储介质。
技术介绍
[0002]目前，随着人工智能的兴起，深度学习模型越来越多地应用于诸如语音识别、图像识别、人脸识别等场景中。随之，也出现了越来越多用于定义与实现模型的深度学习框架。然而，不同深度学习框架与硬件所适用的数据布局(Data Layout)可能不同，且不同算子所适用的数据布局也可能不同。因此在模型运行的过程中可能会引入数据布局的优化。
[0003]然而目前主流的数据布局优化策略往往需要对整个模型进行全图遍历，在完成遍历后再运行模型，导致模型的运行效率大大降低。因此，如何在实现数据布局优化的同时提高模型运行效率，是本领域亟待解决的技术问题。
技术实现思路
[0004]本申请实施例的目的在于提供一种数据布局优化方法、装置、电子设备及存储介质，用以实现数据布局优化的同时提高模型运行效率的技术效果。
[0005]本申请实施例第一方面提供了一种数据布局优化方法，所述方法包括：
[0006]从模型的多个算子中确定目标算子，并针对每个所述目标算子分别执行适配处理，直到遍历至所述模型的输出端；
[0007]所述适配处理包括：获取所述目标算子的输入张量与所述目标算子在数据布局上的适配结果；其中，所述输入张量携带数据布局的第一差异信息；根据所述适配结果确定携带于所述目标算子的输出张量的第二差异信息；
[0008]根据所述模型的输出张量携带的第三差异信息判断是否在所述模型的输出端插入转置算子。
[0009]在上述实现过程中，设计了在模型中逐层传递的张量数据携带有数据布局的差异信息，通过对每个目标算子逐一执行适配处理，来更新张量数据所携带的差异信息，使得张量的数据布局优化在逐层推导的过程中完成的。一方面，通过逐层推导的方式只需一次图遍历即可完成数据布局优化，无需进行两次全图遍历，提高了模型的运行效率。另一方面，在面对复杂的模型结构时，就算模型无法一次完全加载处理，也能通过逐层推导的方式对数据布局优化进行分步处理，以适应在复杂模型中的数据布局优化。
[0010]进一步地，所述从多个所述算子中确定目标算子，包括：
[0011]根据所述模型的结构，依次从多个所述算子中确定目标算子。
[0012]在上述实现过程中，利用模型结构依次确定出多个目标算子，然后依次对每个目标算子执行适配处理，使得张量数据的差异信息能沿着模型结构依次往后传递，直至模型的输出端。由此，差异信息在模型中逐层传递，使得数据布局优化在逐层推导的过程中完成。
[0013]进一步地，针对依次连接的第一目标算子与第二目标算子，第一目标算子的携带第二差异信息的输出张量为第二目标算子的携带第一差异信息的输入张量。
[0014]在上述实现过程中，当第一目标算子在经过适配处理后确定出其输出张量的第二差异信息，而携带第二差异信息的输出张量作为第二目标算子的携带第一差异信息的输入张量，使得张量数据的差异信息能沿着模型结构依次往后传递，直至模型的输出端。
[0015]进一步地，所述方法还包括：
[0016]响应于所述第一目标算子与所述第二目标算子位于不同的深度学习平台，在所述第一目标算子完成所述适配处理后，将所述第一目标算子的携带第二差异信息的输出张量发送至所述第二目标算子所在的深度学习平台。
[0017]在上述实现过程中，对于模型不同部分分别在不同深度学习平台或硬件中实现的场景，也能通过上述逐层推导的方式完成张量的数据布局优化。可知本申请提供的逐层推导的数据布局优化策略不仅适用于单一的深度学习平台，还支持在各种不同深度学习平台之间进行灵活的切换，使得整体框架的灵活性更好。
[0018]进一步地，针对首个目标算子，所述适配处理还包括：
[0019]设置所述首个目标算子的输入张量所携带的第一差异信息。
[0020]在上述实现过程中，通过设置首个目标算子的输入张量所携带的第一差异信息，使得张量数据的当前数据布局与原始数据布局之间的差异能从首个目标算子开始一直传递至模型的输出端。由此，差异信息在模型中逐层传递，使得数据布局优化在逐层推导的过程中完成。
[0021]进一步地，所述根据适配结果确定携带于所述目标算子的输出张量的第二差异信息，包括：
[0022]若所述适配结果指示所述输入张量与所述目标算子在数据布局上适配，确定所述第一差异信息为所述第二差异信息；
[0023]若所述适配结果指示所述输入张量与所述目标算子在数据布局上不适配，对所述输入张量的数据布局进行转换，以使转换后的输入张量与所述目标算子在数据布局上适配；以及
[0024]根据所述第一差异信息、以及所述输入张量转换前后对应的第四差异信息，确定所述第二差异信息。
[0025]在上述实现过程中，根据输入张量与目标算子在数据布局上的适配结果来分别确定第二差异信息，使得张量数据的当前数据布局与原始数据布局之间的差异始终能伴随着张量数据在模型中传递，实现了张量数据的逐层数据布局优化。
[0026]进一步地，所述目标算子的输入张量包括多个；所述根据适配结果确定携带于所述目标算子的输出张量的差异信息，包括：
[0027]基于多个所述输入张量分别对应的适配结果，确定所述第二差异信息。
[0028]在上述实现过程中，针对多输入张量的情况，结合了每个输入张量对应的适配结果来确定第二差异信息，确保了每个张量数据的当前数据布局与原始数据布局之间的差异能一直往下传递，实现了逐层的数据布局优化。
[0029]进一步地，所述根据所述模型的输出张量携带的第三差异信息判断是否在所述模型的输出端插入转置算子，包括：
[0030]若所述第三差异信息指示所述模型的输出张量与所述模型的输入张量在数据布局上适配，判断不在所述模型的输出端插入所述转置算子；
[0031]若所述第三差异信息指示所述模型的输出张量与所述模型的输入张量在数据布局上不适配，判断在所述模型的输出端插入所述转置算子。
[0032]在上述实现过程中，通过第三差异信息指示模型的输出张量与模型的输入张量在数据布局上是否匹配，并根据判断结果确定在模型的输出端插入或不插入转置算子，从而保证模型的输出张量以原始数据布局输出模型，保持输入输出在数据布局上的一致性。
[0033]进一步地，所述方法还包括：
[0034]响应于所述目标算子完成所述适配处理，对所述目标算子进行编译处理。
[0035]在上述实现过程中，模型的编译无需等待全图遍历完成，可以在遍历模型的计算图的同时，对已遍历的部分进行编译，从而为结构复杂的模型的运行效率提升提供了便利条件。
[0036]进一步地，所述方法在满足触发条件时执行，所述触发条件包括：
[0037]响应于所述模型的输入张量与搭载所述模型的深度学习平台在数据布局上不适配。
[0038]本申请实施本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据布局优化方法，其特征在于，所述方法包括：从模型的多个算子中确定目标算子，并针对每个所述目标算子分别执行适配处理，直到遍历至所述模型的输出端；所述适配处理包括：获取所述目标算子的输入张量与所述目标算子在数据布局上的适配结果；其中，所述输入张量携带数据布局的第一差异信息；根据所述适配结果确定携带于所述目标算子的输出张量的第二差异信息；根据所述模型的输出张量携带的第三差异信息判断是否在所述模型的输出端插入转置算子。2.根据权利要求1所述的方法，其特征在于，所述从多个所述算子中确定目标算子，包括：根据所述模型的结构，依次从多个所述算子中确定目标算子。3.根据权利要求1
‑
2任一所述的方法，其特征在于，针对依次连接的第一目标算子与第二目标算子，第一目标算子的携带第二差异信息的输出张量为第二目标算子的携带第一差异信息的输入张量。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：响应于所述第一目标算子与所述第二目标算子位于不同的深度学习平台，在所述第一目标算子完成所述适配处理后，将所述第一目标算子的携带第二差异信息的输出张量发送至所述第二目标算子所在的深度学习平台。5.根据权利要求1所述的方法，其特征在于，针对首个目标算子，所述适配处理还包括：设置所述首个目标算子的输入张量所携带的第一差异信息。6.根据权利要求1所述的方法，其特征在于，所述根据适配结果确定携带于所述目标算子的输出张量的第二差异信息，包括：若所述适配结果指示所述输入张量与所述目标算子在数据布局上适配，确定所述第一差异信息为所述第二差异信息；若所述适配结果指示所述输入张量与所述目标算子在数据布局上不适配，对所述输入张量的数据布局进行转换，以使转换后的输入张量与所述目标算子在数据布局上适配；以及根据所述第一差异信息、以及所述输入张量转换前后对应的第四差异信息，确定所述第二差异信息。7.根据权利要求1所述的方法，其特征在于，所述目标算子的...
【专利技术属性】
技术研发人员：张翔，杨宗武，李月男，杜迪，杨金，陈昕，
申请(专利权)人：芯原微电子上海股份有限公司芯原微电子南京有限公司芯原科技上海有限公司芯原微电子海南有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。