【技术实现步骤摘要】
本申请属于人工智能，尤其涉及一种数据处理方法和装置。
技术介绍
1、神经网络(neural networks，nn)是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统。目前，在基于神经网络模型的数据处理中，存在计算性能低、数据处理易达到系统瓶颈从而制约系统性能的问题，如何解决该问题，成为本领域一个技术难点。
技术实现思路
1、为此，本申请公开如下技术方案：
2、一种数据处理方法，所述方法包括：
3、获取各个数据处理通道分别对应的第一数据对象和第二数据对象，同一数据处理通道对应的第一数据对象和第二数据对象中的数据对应为相应的待处理数据对；
4、从所述待处理数据对中确定各个数据处理通道分别对应的有效数据对；
5、基于所有数据处理通道的有效数据对总数，将所述有效数据对在各个可用硬件处理通道之间均衡分配；
6、按并行方式，在各个可用硬件处理通道上对所得的有效数据对进行数据处理。
7、可选的，所述从所述待处理数据对中确定各个数据处理通道分别对应的有效数据对，包括：
8、确定每个数据处理通道对应的第一数据对象与第二数据对象之间位置对应一致的数据构成的待处理数据对；
9、确定所述待处理数据对中未包含无效数据的数据对，作为所述数据处理通道对应的有效数据对。
10、可选的，所述基于所有数据处理通道的有效数据对总数，将所述有效数据对在各个可用硬件处理通道之间均衡分配，包括
11、根据所有数据处理通道的有效数据对总数，将各个数据处理通道分别对应的有效数据对，跨数据处理通道在各个可用硬件处理通道之间进行分配，使各个可用硬件处理通道之间处理的有效数据对个数满足均衡条件。
12、可选的，所述基于所有数据处理通道的有效数据对总数，将所述有效数据对在各个可用硬件处理通道之间均衡分配，包括：
13、构造包含各个数据处理通道对应的有效数据对的有效数据对集合，根据各个数据处理通道分别对应的有效数据对个数，确定所述有效数据对集合中有效数据对的总个数，得到所述有效数据对总数；
14、根据所述总个数将所述有效数据对集合拆分成第一数量的多个子集合，使各个子集合分别包含的有效数据对个数满足接近条件；所述第一数量为所述各个可用硬件处理通道的通道数量；
15、将不同子集合包含的有效数据对分别分配至不同的可用硬件处理通道。
16、可选的，所述构造包含各个数据处理通道对应的有效数据对的有效数据对集合，包括：
17、构造包含各个数据处理通道对应的有效数据对的有效数据对序列；其中，所述有效数据对序列中的各个有效数据对按序连续存储。
18、可选的，所述根据所述总个数将所述有效数据对集合拆分成第一数量的多个子集合，将不同子集合包含的有效数据对分别分配至不同的可用硬件处理通道，包括：
19、将所述有效数据对序列，按包含的有效数据对的所述总个数均分成所述第一数量的多个子序列；每个子序列包括所述有效数据对序列中连续存储的相应数量有效数据对；
20、将不同子序列包含的有效数据对分别分配至不同的可用硬件处理通道。
21、可选的，所述将所述有效数据对序列，按包含的有效数据对的所述总个数均分成所述第一数量的多个子序列，包括：
22、确定第二数量及所述有效数据对序列中有效数据对存储位置的首地址；所述第二数量为将所述总个数按所述第一数量进行平均所得的平均值的向上取整值；
23、以目标地址为起始确定个数未高于所述第二数量的连续存储的有效数据对，作为所述有效数据对序列的一个子序列，直至将所述有效数据对序列中的全部有效数据对划分至对应的子序列时结束；
24、其中，所得的各个子序列中，一个子序列包含的有效数据对个数等于或小于所述第二数量，所述一个子序列以外的各个子序列分别包含的有效数据对个数等于所述第二数量；所述目标地址为所述首地址或基于所述首地址为当前待划分的子序列确定出的起始地址。
25、可选的，基于所述首地址为当前待划分的子序列确定起始地址，包括：
26、根据所述首地址、所述第二数量和所述当前待划分的子序列在所述有效数据对序列的各个子序列中对应的次序，确定所述当前待划分的子序列的起始地址。
27、一种数据处理装置，所述装置包括：
28、获取单元，用于获取各个数据处理通道分别对应的第一数据对象和第二数据对象，同一数据处理通道对应的第一数据对象和第二数据对象中的数据对应为相应的待处理数据对；
29、确定单元，用于从所述待处理数据对中确定各个数据处理通道分别对应的有效数据对；
30、分配单元，用于基于所有数据处理通道的有效数据对总数，将所述有效数据对在各个可用硬件处理通道之间均衡分配；
31、数据处理单元，用于按并行方式，在各个可用硬件处理通道上对所得的有效数据对进行数据处理。
32、可选的，所述装置还包括：
33、压缩单元，用于根据所述确定单元的确定结果，剔除各个数据处理通道分别对应的第一数据对象和第二数据对象所形成的待处理数据对中有效数据对以外的数据，得到各个数据处理通道分别对应的有效数据对；
34、存储单元，用于存储各个数据处理通道分别对应的有效数据对及有效数据对数量，以便所述分配单元进行数据获取与分配。
35、可选的，所述存储单元内所有数据处理通道的有效数据对连续存储。
36、由以上方案可知，本申请公开一种数据处理方法和装置，其中数据处理方法包括：获取各个数据处理通道分别对应的第一数据对象和第二数据对象，同一数据处理通道对应的第一数据对象和第二数据对象中的数据对应为相应的待处理数据对；从所述待处理数据对中确定各个数据处理通道分别对应的有效数据对；基于所有数据处理通道的有效数据对总数，将所述有效数据对在各个可用硬件处理通道之间均衡分配；按并行方式，在各个可用硬件处理通道上对所得的有效数据对进行数据处理。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，所述方法包括：
2.根据权利要求1所述的方法，所述从所述待处理数据对中确定各个数据处理通道分别对应的有效数据对，包括：
3.根据权利要求1所述的方法，所述基于所有数据处理通道的有效数据对总数，将所述有效数据对在各个可用硬件处理通道之间均衡分配，包括：
4.根据权利要求1所述的方法，所述基于所有数据处理通道的有效数据对总数，将所述有效数据对在各个可用硬件处理通道之间均衡分配，包括：
5.根据权利要求4所述的方法，所述构造包含各个数据处理通道对应的有效数据对的有效数据对集合，包括：
6.根据权利要求5所述的方法，所述根据所述总个数将所述有效数据对集合拆分成第一数量的多个子集合，将不同子集合包含的有效数据对分别分配至不同的可用硬件处理通道，包括：
7.根据权利要求6所述的方法，所述将所述有效数据对序列，按包含的有效数据对的所述总个数均分成所述第一数量的多个子序列，包括：
8.根据权利要求7所述的方法，基于所述首地址为当前待划分的子序列确定起始地址，包括：
9.一种数据处
10.根据权利要求9所述的装置，还包括：
11.根据权利要求10所述的装置，所述存储单元内所有数据处理通道的有效数据对连续存储。
...【技术特征摘要】
1.一种数据处理方法，所述方法包括：
2.根据权利要求1所述的方法，所述从所述待处理数据对中确定各个数据处理通道分别对应的有效数据对，包括：
3.根据权利要求1所述的方法，所述基于所有数据处理通道的有效数据对总数，将所述有效数据对在各个可用硬件处理通道之间均衡分配，包括：
4.根据权利要求1所述的方法，所述基于所有数据处理通道的有效数据对总数，将所述有效数据对在各个可用硬件处理通道之间均衡分配，包括：
5.根据权利要求4所述的方法，所述构造包含各个数据处理通道对应的有效数据对的有效数据对集合，包括：
6.根据权利要求5所...
【专利技术属性】
技术研发人员：陈勇，
申请(专利权)人：鼎道智芯上海半导体有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。