【技术实现步骤摘要】
本专利技术涉及网络传输，尤其涉及一种面向高并发文件传输的任务队列管理方法及系统。
技术介绍
1、quic(quick udp internet connections)是一种多路复用的网络传输层协议，旨在优化和改进基于tcp的传统端到端连接。quic自2012年首次推出以来，已得到快速发展和完善，并被ietf(internet engineering task force)标准化作为传输层协议。quic运行在udp协议之上，而udp作为一种无连接的协议，因其具备的较少握手次数和灵活的数据包处理特征，使得quic在建立连接时的耗时远远少于tcp。同时，quic内部集成了加密与安全功能，其安全性基于tls1.3，这意味着它本身就提供了完整的加密协议，不像tcp需要依赖额外的安全层(如tls/ssl)。此外，quic提供了错误更正机制，允许快速恢复丢失的数据包。因此，它可以对每个数据流分别处理丢包和确认，而不是像tcp那样统一处理。这个特性在网络不稳定时能更快地重新传输丢失的数据包，且不会阻塞其他数据流。
2、http/3是采用quic作为底层传输机制的新一代超文本传输协议。它是继http/2之后的又一次大规模更新，致力于解决http/2的诸多问题，如队头阻塞等等。http/2尽管已经实现了请求的多路复用，但它们仍共享同一个tcp连接。所以，一个慢请求可以延迟整个tcp队列。http/3通过使用quic解决了这个问题，它允许请求独立传输，从而即使某个请求变慢时也不会影响到其他请求。
3、综上所述，quic/ht
4、尽管quic协议为文件传输带来了显著的性能提升，但是，在高并发文件传输场景下，单纯依靠quic自身的能力来实现，仍然面临诸多挑战。主要的挑战包含以下几点：
5、1.传输任务的高效管理：有效地处理包括数据包的接收、发送以及管理数量庞大的传输任务，这些是文件传输系统要面对的核心任务。
6、2.系统响应能力：面对大量文件传输任务时，如何快速且正确地处理任务是关键，对系统的响应速度有着直接影响。
7、3.多线程编程的复杂性：多线程间的通信和同步通常需要依赖于锁机制，这在高并发环境下容易成为性能瓶颈。锁的争用在负载增大时可能导致严重的性能退化，增加系统的操作复杂度并降低可扩展性。
技术实现思路
1、本专利技术的目的，在于解决现有多线程环境下的上述种种挑战，以及面向提升系统调度能力、降低响应延迟和优化传输效率的需求。
2、为实现上述目的，一方面，本专利技术提供了一种面向高并发文件传输的任务队列管理方法，该方法包括以下步骤：
3、步骤一、接收上传和下载任务，根据任务类型，传输数据大小的不同，创建多个类型、大小、优先级不同的单文件传输任务，并提交无锁任务队列；
4、步骤二、在唤醒时间到达后启动，从队列中取出任务，并根据文件的大小以及设置的分片阈值创建quic流，以及根据任务优先级设置流优先级；根据阻塞时间以及现存任务量，设置下一次唤醒时间；
5、步骤三、建立和对端的连接，读取创建好的quic流并且向其中填写http3协议封装标准的数据报文，解析收到的http3数据报文；以及根据网络状况反馈阻塞时间。
6、另一方面，本专利技术提供了一种面向高并发文件传输的任务队列管理系统，其特征在于，包括：任务接收和创建模块、任务队列管理模块和文件传输模块，其中
7、任务接收和创建模块，用于接收上传和下载任务，根据任务类型，传输数据大小的不同，创建多个类型、大小、优先级不同的单文件传输任务，并提交无锁任务队列；
8、任务队列管理模块，用于在唤醒时间到达后启动，从队列中取出任务，并根据文件的大小以及设置的分片阈值创建quic流，以及根据任务优先级设置流优先级；根据阻塞时间以及现存任务量，设置下一次唤醒时间；
9、文件传输模块，用于建立和对端的连接，读取创建好的quic流并且向其中填写http3协议封装标准的数据报文，解析收到的http3数据报文；以及根据网络状况反馈阻塞时间。
10、本专利技术无锁任务队列设计采用单生产者与单消费者模型，通过无锁编程框架，避免了线程间通信中的锁竞争问题，显著提升系统性能与响应速度，并有助于降低复杂性和线程间通信产生的开销。借助这种无锁任务队列管理方法，quic/http3文件传输系统能够在保持高安全性的同时，提升并行处理能力和稳定性，并为用户带来更为流畅的文件传输体验。
本文档来自技高网...【技术保护点】
1.一种面向高并发文件传输的任务队列管理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述步骤一包括：为每一个任务中要传输的文件创建任务结构体，并设置大小、类型、优先级；并将创建好的结构体提交无锁队列。
3.根据权利要求1所述的方法，其特征在于，所述步骤二包括：判断是否到达唤醒时间，如果已经到达则启动；判断当前的任务量是否小于上限，传输流数量是否小于上限，都小于则从任务队列中取出一个任务；根据任务中的文件的大小以及设置的分片阈值创建对应数量的QUIC流；直至到达设置的一次性读取任务的最大值；根据反馈的阻塞时间设置下一次读取任务的等待时间。
4.根据权利要求1所述的方法，其特征在于，所述步骤三包括：读取创建好的QUIC流，向任务队列管理模块反馈阻塞时间；组织HTTP3报文，包括方法Method、路径Path、分片Ranges以及文件内容形成数据报文放入QUIC流；将组织好的QUIC报文进行发送；接收QUIC数据包解析HTTP3报文，将收到的文件内容进行存储。
5.根据权利要求1所述的方法，其特征在于，还包
6.一种面向高并发文件传输的任务队列管理系统，其特征在于，包括：任务接收和创建模块、任务队列管理模块和文件传输模块，其中
7.根据权利要求6所述的系统，其特征在于，所述任务接收和创建模块，具体用于：为每一个任务中要传输的文件创建任务结构体，并设置大小、类型、优先级；并将创建好的结构体提交无锁队列。
8.根据权利要求6所述的系统，其特征在于，所述任务队列管理模块，具体用于：判断是否到达唤醒时间，如果已经到达则启动；判断当前的任务量是否小于上限，传输流数量是否小于上限，都小于则从任务队列中取出一个任务；根据任务中的文件的大小以及设置的分片阈值创建对应数量的QUIC流；直至到达设置的一次性读取任务的最大值；根据反馈的阻塞时间设置下一次读取任务的等待时间。
9.根据权利要求6所述的系统，其特征在于，所述文件传输模块，具体用于：读取创建好的QUIC流，向任务队列管理模块反馈阻塞时间；组织HTTP3报文，包括方法Method、路径Path、分片Ranges以及文件内容形成数据报文放入QUIC流；将组织好的QUIC报文进行发送；接收QUIC数据包解析HTTP3报文，将收到的文件内容进行存储。
10.根据权利要求6所述的系统，其特征在于，还包括：初始化QUIC协议栈，配置QUIC传输参数，创建无锁队列以及连接和流的上下文数据结构。
...【技术特征摘要】
1.一种面向高并发文件传输的任务队列管理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述步骤一包括：为每一个任务中要传输的文件创建任务结构体，并设置大小、类型、优先级；并将创建好的结构体提交无锁队列。
3.根据权利要求1所述的方法，其特征在于，所述步骤二包括：判断是否到达唤醒时间，如果已经到达则启动；判断当前的任务量是否小于上限，传输流数量是否小于上限，都小于则从任务队列中取出一个任务；根据任务中的文件的大小以及设置的分片阈值创建对应数量的quic流；直至到达设置的一次性读取任务的最大值；根据反馈的阻塞时间设置下一次读取任务的等待时间。
4.根据权利要求1所述的方法，其特征在于，所述步骤三包括：读取创建好的quic流，向任务队列管理模块反馈阻塞时间；组织http3报文，包括方法method、路径path、分片ranges以及文件内容形成数据报文放入quic流；将组织好的quic报文进行发送；接收quic数据包解析http3报文，将收到的文件内容进行存储。
5.根据权利要求1所述的方法，其特征在于，还包括：初始化quic协议栈，配置quic传输参数，创建无锁队列以及连接和流的上下文数据结构。
6.一种面向高并发文件传输的任务队列管理系...
【专利技术属性】
技术研发人员：王冬举，李焯坚，覃毅芳，周旭，范鹏飞，张心晴，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。