【技术实现步骤摘要】
【】本申请实施例涉及数据处理，尤其涉及一种数据传输方法、装置以及服务器。
技术介绍
0、
技术介绍
1、大型复杂运算需要多个环节协作，各环节的服务器执行运行的部分任务，在不同服务器之间存在输出与输入的逻辑关系时，数据流转于多个执行不同任务的服务器，执行当前计算任务服务器对所有数据处理完成后，传输到利用当前结果进行后续处理的下一个服务器，下一个服务器完成对上一个传输至本地的数据的计算后接收数据。如果数据占用空间大，不同服务器之间传输数据会消耗大量时间，流程等待也造成的也会导致资源和时间的浪费。
2、示例地，安防领域、自动驾驶领域等，雷达、摄像头等传感器采集大量数据，后端对数据进行处理，输出预测结果、实时路况等，而上述输出预测结果、实时路况需要多个执行不同人物的环节配合，例如需要图像预处理、特征标注、机器学习等，因此占用空间较大的数据，例如指定时间段的视频需要在多个服务之间流转，服务器每次上传、下载数据会消耗大量的时间。同时后续的流程也处在等待的过程中，即浪费时间又闲置资源。
技术实现思路
0、
技术实现思路
1、本申请实施例提供了一种数据传输方法、装置、以及服务器，加速数据在需要多个计算环节配合完成的大型运算的各个环节之间的流转，从而提高各环节计算资源的利用率和整体运算效率。
2、第一方面，本申请实施例提供一种数据传输方法，应用于数据传输系统的第一服务器，所述数据传输系统还包括第二服务器，所述方法包括：获得多个数据包；所述多个数据包
3、上述数据传输方法中，将整体数据的传输转化为数据流的形成过程；首先获得能组成整体数据的多个数据包，当前计算环节的服务器每完成一个数据包的处理，生成对应该数据包的处理完成消息；同时进行将数据包发送至执行下一个计算环节的服务器步骤、和将对应处理完成消息写入消息队列的步骤，实现服务器处理完一个数据包将一个数据包发送至执行下一个计算环节的服务器，且告知执行下一个计算环节的服务器该数据包已完成发送的目的，以使执行下一个计算环节的服务器在完成上一个本地计算后，可以基于消息队列依次提取按照写入时间排列处理完成消息，从而获取下一个计算环节的服务器本次需要处理的数据包。根据上述过程可知，通过消息队列中处理完成消息客观存在的排列次序，完成多个数据包的依次存取，从而将数据传输化整为零，让数据流转的各个环节可以有序处理部分数据，提高资源利用率和整体的处理速度。
4、其中一种可能的实现方式中，所述原始数据为融合有传感器信息和雷达信息的视频数据，拆分所述原始数据之后，所述方法还包括：
5、从所述原始数据提取预设描述所述视频数据的关键信息，获得所述多个数据包对应的元数据信息；
6、将所述元数据信息以及所述元数据信息关联多个数据包的唯一标识存储至数据库。
7、其中一种可能的实现方式中，所述数据传输系统还包括云服务器；在将所述执行完所述目标计算的数据包发送至所述第二服务器时，将所述处理完成消息写入所述第一服务器和所述第二服务器的消息队列，包括：
8、在将所述执行完所述目标计算的数据包上传至所述云服务器时，将所述处理完成消息写入所述第一服务器和所述第二服务器的消息队列。
9、其中一种可能的实现方式中，所述原始数据为融合有传感器信息和雷达信息的视频数据，获得多个数据包，包括：
10、获得待从所述第一服务器传输至所述第二服务器的所述原始数据；
11、获得所述原始数据中每帧图像对应的采集时间；
12、按照不同帧图像对应采集时间的大小，将所述原始数据拆分为多个预设尺寸的视频段；多个所述视频段首尾相接。
13、第二方面，本申请实施例提供一种数据传输方法，应用于数据传输系统的第二服务器，所述数据传输系统还包括第一服务器，所述方法包括：
14、当完成上一次本地执行的计算，从所述第一服务器和所述第二服务器的消息队列取出本次计算中待处理的数据包对应处理完成消息；所述处理完成消息携带对应数据包的唯一标识；所述消息队列按照写入顺序的先后排列有多个数据包；
15、根据所述唯一标识，调取所述本次计算中待处理的数据包。
16、其中一种可能的实现方式中，获取所述本次计算中待处理的数据包之后，所述方法还包括：
17、当所述本次计算中待处理的数据包中不包含本次计算需求的特定数据，从数据库下载所述本次计算中待处理的数据包对应唯一标识关联的元数据信息。
18、第三方面，本申请实施例提供一种数据传输方法，应用于数据传输系统，所述数据传输系统包括第一服务器和第二服务器；所述方法包括：
19、所述第一服务器获得多个数据包；所述多个数据包组成待传输的原始数据；
20、当对所述多个数据包中的任意数据包执行目标计算结束，所述第一服务器针对执行完所述目标计算的数据包生成处理完成消息；所述处理完成消息携带对应数据包的唯一标识；
21、所述第一服务器在将所述执行完所述目标计算的数据包发送至所述第二服务器时，将所述处理完成消息写入所述第一服务器和所述第二服务器的消息队列；
22、当完成上一次本地执行的计算，所述第二服务器从所述第一服务器和所述第二服务器的消息队列取出本次计算中待处理的数据包对应处理完成消息；所述处理完成消息携带对应数据包的唯一标识；所述消息队列按照写入顺序的先后排列有多个数据包；
23、所述第二服务器根据所述唯一标识，获取所述本次计算中待处理的数据包。
24、第四方面，本申请实施例提供一种数据传输装置，设置在第一服务器中，所述装置包括：
25、数据包获得模块，用于获得多个数据包；所述多个数据包组成待传输的原始数据；
26、生成消息模块，用于当对所述多个数据包中的任意数据包执行目标计算结束，针对执行完所述目标计算的数据包生成处理完成消息；所述处理完成消息携带对应数据包的唯一标识；
27、消息写入模块，用于在将所述执行完所述目标计算的数据包发送至所述第二服务器时，将所述处理完成消息写入所述第一服务器和所述第二服务器的消息队列。
28、其中一种可能的实现方式中，所述装置还包括：
29、信息提取模块，用于从所述原始数据提取预设描述所述视频数据的关键信息，获得所述多个数据包对应的元数据信息；
30、存储模块，用于将所述元数据信息以及所述元数据信息关联数据包的唯一标识存储至数据库。
31、其中一种可能的实现方式中，所述数据传输系统还包括云服务器；所述消息写入模块具体用于在将所述执行完所述目标计算的数据本文档来自技高网...
【技术保护点】
1.一种数据传输方法，其特征在于，应用于数据传输系统的第一服务器，所述数据传输系统还包括第二服务器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述原始数据为融合有传感器信息和雷达信息的视频数据，拆分所述原始数据之后，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述数据传输系统还包括云服务器；在将所述执行完所述目标计算的数据包发送至所述第二服务器时，将所述处理完成消息写入所述第一服务器和所述第二服务器的消息队列，包括：
4.根据权利要求1所述的方法，其特征在于，所述原始数据为融合有传感器信息和雷达信息的视频数据，获得多个数据包，包括：
5.一种数据传输方法，其特征在于，应用于数据传输系统的第二服务器，所述数据传输系统还包括第一服务器，所述方法包括：
6.根据权利要求5所述的方法，其特征在于，获取所述本次计算中待处理的数据包之后，所述方法还包括：
7.一种数据传输方法，其特征在于，应用于数据传输系统，所述数据传输系统包括第一服务器和第二服务器；所述方法包括：
8.一种数
9.一种数据传输装置，其特征在于，设置于数据传输系统的第二服务器，所述数据传输系统还包括第一服务器，所述装置包括：
10.一种服务器，包括：
...【技术特征摘要】
1.一种数据传输方法，其特征在于，应用于数据传输系统的第一服务器，所述数据传输系统还包括第二服务器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述原始数据为融合有传感器信息和雷达信息的视频数据，拆分所述原始数据之后，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述数据传输系统还包括云服务器；在将所述执行完所述目标计算的数据包发送至所述第二服务器时，将所述处理完成消息写入所述第一服务器和所述第二服务器的消息队列，包括：
4.根据权利要求1所述的方法，其特征在于，所述原始数据为融合有传感器信息和雷达信息的视频数据，获得多个数据包，包括：
5.一种数据...
【专利技术属性】
技术研发人员：白建国，
申请(专利权)人：魔门塔苏州科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。