一种多应用数据处理过程高并发方法技术

本发明专利技术涉及一种多应用数据处理过程高并发方法，其中，包括：申请源数据处理队列；源数据的应用标识在应用初始化时确定其标识编号；源数据处理队列存储方式为先入先出的方式；检测源数据处理队列是否有数据，如果有，则数据处理接口处理源数据，否则等待；数据处理队列处理源数据时先将应用标识提取出来存入临时变量，处理源数据，将处理后的源数据和存入临时变量的应用标识重组生成目的数据；提取目的数据的应用标识，根据应用和应用标识映射关系，将目的数据提取出来发给应用。本发明专利技术通过服务和数据处理模块之间引入数据处理队列使数据处理流程实现多应用时数据处理高并发机制，从而提高多应用的数据处理效率。

A high concurrency method for multi application data processing

【技术实现步骤摘要】
一种多应用数据处理过程高并发方法
本专利技术涉及网络数据通信技术，特别涉及一种多应用数据处理过程高并发方法。
技术介绍
我们日常生活中网络已经密不可分的一部分，怎样提高网络数据处理效率是我们在实现网络架构过程需要考虑的关键点，其中应用数据处理是提高网络传输效率的一部分。图1所示为现有的应用数据处理原理图，如图1所示，目前通用的网络数据处理流程为：应用发送源数据到处理接口处理；数据处理模块处理完成后将目的数据返回给应用；应用得到目的数据进行后续处理；现有的应用数据处理过程是串行流程，应用向数据处理模块发送源数据，等待数据处理模块返回经过处理后的目的数据，这种操作过程是应用独占数据处理模块，其他需要数据处理的应用处于等待状态从而阻塞接收新的源数据，数据处理模块接收新的源数据也要等到上一个应用数据处理结束，从而降低了数据处理过程整体效率。
技术实现思路
本专利技术的目的是提供一种多应用数据处理过程高并发方法，以解决数据处理过程整体效率的问题。本专利技术一种多应用数据处理过程高并发方法，其中，包括：申请源数据处理队列；源数据的应用标识在应用初始化时确定其标识编号；源数据处理队列存储方式为先入先出的方式；检测源数据处理队列是否有数据，如果有，则数据处理接口处理源数据，否则等待；数据处理队列处理源数据时先将应用标识提取出来存入临时变量，处理源数据，将处理后的源数据和存入临时变量的应用标识重组生成目的数据；提取目的数据的应用标识，根据应用和应用标识映射关系，将目的数据提取出来发给应用。<br>根据本专利技术的多应用数据处理过程高并发方法的一实施例，其中，队列长度为1000。根据本专利技术的多应用数据处理过程高并发方法的一实施例，其中，当向源数据处理队列发送数据时其格式为标识+数据长度。根据本专利技术的多应用数据处理过程高并发方法的一实施例，其中，处理源数据包括数据重组和数据转换。根据本专利技术的多应用数据处理过程高并发方法的一实施例，其中，标识为4字节，数据长度小于等于4K字节并大于等于4字节。本专利技术通过服务和数据处理模块之间引入数据处理队列使数据处理流程实现多应用时数据处理高并发机制，从而提高多应用的数据处理效率。附图说明图1所示为现有的应用数据处理原理图；图2所示为本专利技术多应用数据处理过程的原理图；图3所示为多应用高并发数据处理流程图；图4所示为多应用高并发数据处理过程方法流程图。具体实施方式为使本专利技术的目的、内容、和优点更加清楚，下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。图2是本专利技术多应用数据处理过程的原理图，图3所示为多应用高并发数据处理流程图，图4所示为多应用高并发数据处理过程方法流程图，如图2至图4所示，申请源数据处理队列，队列长度为1000(长度根据实际情况而定)；源数据的应用标识在应用初始化时确定其标识编号(0、1、2...)，当向源数据处理队列发送数据时其格式为(标识(4字节)+数据长度(小于等于(4K字节)-4字节))；源数据处理队列存储方式为先入先出的方式；数据处理接口检测源数据处理队列是否有数据，如果有，则数据处理接口处理源数据，否则等待；数据处理队列处理源数据时先将应用标识提取出来存入临时变量，处理源数据(数据重组、数据转换等操作)，将处理后的数据和存入临时变量的应用标识重组生成目的数据；数据分发模块提取出应用标识，参照前面应用和应用标识映射关系，将目的数据提取出来发给应用。本专利技术当多应用需要数据处理时，通过该方法使待处理的源数据提前存入处理队列，当数据处理完成后生成目的数据，数据分发模块进行目的数据分发，这样当处理多应用时，每个应用都不会独占数据处理模块，实现多应用数据处理的并发机制，从而提高多应用的数据处理过程高并发。1、应用将需要数据处理的源数据存入处理队列后可以接收新的数据。2、如果数据处理队列有数据，数据处理模块从处理队列取出源数据进行数据处理，处理完数据发送给对应的应用；源数据发送接口是生产者，数据处理模块是消费者，生产者不需要等待消费者消费完成再生产，消费者也不会被某一个生产者占用，两者是相互独立、互不影响的部分。源数据发送接口可以一直向数据处理队列插入数据，数据处理模块可以一直从数据处理队列取出数据调用线程池进行处理，即使数据处理模块一直忙碌也不影响应用的源数据插入数据处理队列。这样应用的源数据发送接口就不用等待数据处理模块完成上一个应用数据的处理就可以推入新的数据到数据处理队列、数据处理模块不用等待上一个应用数据处理完成就可以接收到待处理的数据、数据处理模块不被某个应用独占。以上所述仅是本专利技术的优选实施方式，应当指出，对于本
的普通技术人员来说，在不脱离本专利技术技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种多应用数据处理过程高并发方法，其特征在于，包括：/n申请源数据处理队列；/n源数据的应用标识在应用初始化时确定其标识编号；/n源数据处理队列存储方式为先入先出的方式；/n检测源数据处理队列是否有数据，如果有，则数据处理接口处理源数据，否则等待；/n数据处理接口处理源数据时先将应用标识提取出来存入临时变量，处理源数据，将处理后的源数据和存入临时变量的应用标识重组生成目的数据；/n提取目的数据的应用标识，根据应用和应用标识映射关系，将目的数据提取出来发给应用。/n

【技术特征摘要】
1.一种多应用数据处理过程高并发方法，其特征在于，包括：
申请源数据处理队列；
源数据的应用标识在应用初始化时确定其标识编号；
源数据处理队列存储方式为先入先出的方式；
检测源数据处理队列是否有数据，如果有，则数据处理接口处理源数据，否则等待；
数据处理接口处理源数据时先将应用标识提取出来存入临时变量，处理源数据，将处理后的源数据和存入临时变量的应用标识重组生成目的数据；
提取目的数据的应用标识，根据应用和应用标识映射关系，将目的数据提取出来发给应用。


2.如权利要求1所述的多应用数据处理过程高并发方法，其特...

【专利技术属性】
技术研发人员：张胜强，张宏坡，
申请(专利权)人：北京左江科技股份有限公司，
类型：发明
国别省市：北京;11