一种数据处理方法、装置和计算机可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置和介质，将获取的各类业务线数据记录至第一消息队列；提取第一消息队列中各类业务线数据的有效数据流。按照预设的窗口时间，利用滑动窗口对各有效数据流进行统计，得到待分析数据块；将各待分析数据块按照其对应的业务处理规则进行分析，并将得到的分析结果存储至第二消息队列。采用消息队列缓存以及滑动窗口读取数据的方式，可以实现对实时业务线数据的直接处理，避免数据读取过程中造成的不必要时间消耗，从而可以更加有效的挖掘出海量数据的价值信息。并且将分析结果存储至第二消息队列，业务方通过读取第二消息队列，可以直观的获取有价值的数据信息。

【技术实现步骤摘要】
一种数据处理方法、装置和计算机可读存储介质
本专利技术涉及数据
，特别是涉及一种数据处理方法、装置和计算机可读存储介质。
技术介绍
电商平台每时每刻都会产生数据流信息，包括用户登录及用户所属地区、平台供应商的销售商品数量、金额、商品类目、采购人的商品浏览信息、采购商品信息等实时信息流数据。在强调数据价值，尤其是实时数据价值的电商平台领域，最短时间范围内、最大限度的梳理平台实时数据之间的关系、重组数据信息结构、发掘数据信息的潜在价值极为重要。目前市面上很多数据处理框架都是采用从数据库或数据存储介质中读取历史数据，然后再通过批处理方式处理这些数据。这种方式有一些固有的缺陷或不足。缺点一：从数据库或存储介质中读取数据本身需要一定的时间，在某些对数据的时效性要求高的场景中，数据价值就会打相应的折扣。缺点二：批处理自身的特性会造成一批数据全部处理完后再接着处理下一个批次的数据，不仅使得计算引擎本身利用不充分，也使得整个数据池中不同批次数据之间切换造成不可避免的数据处理延迟。缺点三：在某一特定时刻产生的海量数据，由于计算框架自身计算能力的原因，会造成数据处理不及时，甚至造成数据丢失，严重的会造成系统宕机。可见，如何有效的挖掘海量数据的价值信息，是本领域技术人员需要解决的问题。
技术实现思路
本专利技术实施例的目的是提供一种数据处理方法、装置和计算机可读存储介质，可以有效的挖掘海量数据的价值信息。为解决上述技术问题，本专利技术实施例提供一种数据处理方法，包括：将获取的各类业务线数据记录至第一消息队列；提取所述第一消息队列中各类业务线数据的有效数据流；按照预设的窗口时间，利用滑动窗口对各有效数据流进行统计，得到待分析数据块；将各待分析数据块按照其对应的业务处理规则进行分析，并将得到的分析结果存储至第二消息队列。可选地，所述将获取的各类业务线数据记录至第一消息队列包括：按照预设的分类规则，对获取的各类业务线数据添加标签信息；将添加标签信息后的各类业务线数据记录至第一消息队列。可选地，所述提取所述第一消息队列中各类业务线数据的有效数据流包括：根据目标业务线数据所对应的时间戳，对所述目标业务线数据进行排序，得到数据流；其中，所述目标业务线数据为所有业务线数据中的任意一个业务线数据；按照所述目标业务线数据所对应的数据过滤规则，提取出所述数据流中的有效数据流；其中，不同的标签信息有其各自对应的数据过滤规则。可选地，所述将各待分析数据块按照其对应的业务处理规则进行分析，并将得到的分析结果存储至第二消息队列包括：当所述待分析数据块为商品交易信息时，根据预先设定的区划信息以及商品类目信息，统计出所述商品交易信息中不同区划下、不同商品类目的销售数量以及销售金额；将销售数量最高的前N位以及销售金额最高的前N位商品交易信息按照区划、商品类目、销售数量以及销售金额的对应关系存储至第二消息队列。可选地，所述将各待分析数据块按照其对应的业务处理规则进行分析，并将得到的分析结果存储至第二消息队列包括：当所述待分析数据块为用户浏览信息时，统计出设置有相同标签信息的广告信息在预先划分的不同时间段内的点击量；将所述广告信息按照标签信息、时间段和点击量的对应关系存储至第二消息队列。可选地，所述将各待分析数据块按照其对应的业务处理规则进行分析，并将得到的分析结果存储至第二消息队列包括：当所述待分析数据块为用户登录信息时，根据预先设定的区划信息，统计出所述用户登录信息中不同区划下、不同时间段内的用户登录数量；将所述用户登录信息按照区划、时间段以及用户登录数量的对应关系存储至第二消息队列。本专利技术实施例还提供了一种数据处理装置，包括记录单元、提取单元、统计单元和分析单元；所述记录单元，用于将获取的各类业务线数据记录至第一消息队列；所述提取单元，用于提取所述第一消息队列中各类业务线数据的有效数据流；所述统计单元，用于按照预设的窗口时间，利用滑动窗口对各有效数据流进行统计，得到待分析数据块；所述分析单元，用于将各待分析数据块按照其对应的业务处理规则进行分析，并将得到的分析结果存储至第二消息队列。可选地，所述记录单元具体用于按照预设的分类规则，对获取的各类业务线数据添加标签信息；将添加标签信息后的各类业务线数据记录至第一消息队列。可选地，所述提取单元包括排序子单元和过滤子单元；所述排序子单元，用于根据目标业务线数据所对应的时间戳，对所述目标业务线数据进行排序，得到数据流；其中，所述目标业务线数据为所有业务线数据中的任意一个业务线数据；所述过滤子单元，用于按照所述目标业务线数据所对应的数据过滤规则，提取出所述数据流中的有效数据流；其中，不同的标签信息有其各自对应的数据过滤规则。可选地，所述分析单元包括统计子单元和存储子单元；所述统计子单元，用于当所述待分析数据块为商品交易信息时，根据预先设定的区划信息以及商品类目信息，统计出所述商品交易信息中不同区划下、不同商品类目的销售数量以及销售金额；所述存储子单元，用于将销售数量最高的前N位以及销售金额最高的前N位商品交易信息按照区划、商品类目、销售数量以及销售金额的对应关系存储至第二消息队列。可选地，所述分析单元包括统计子单元和存储子单元；所述统计子单元，用于当所述待分析数据块为用户浏览信息时，统计出设置有相同标签信息的广告信息在预先划分的不同时间段内的点击量；所述存储子单元，用于将所述广告信息按照标签信息、时间段和点击量的对应关系存储至第二消息队列。可选地，所述分析单元包括统计子单元和存储子单元；所述统计子单元，用于当所述待分析数据块为用户登录信息时，根据预先设定的区划信息，统计出所述用户登录信息中不同区划下、不同时间段内的用户登录数量；所述存储子单元，用于将所述用户登录信息按照区划、时间段以及用户登录数量的对应关系存储至第二消息队列。本专利技术实施例还提供了一种数据处理装置，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现如上述任意一项所述数据处理方法的步骤。本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述数据处理方法的步骤。由上述技术方案可以看出，将获取的各类业务线数据记录至第一消息队列；采用消息队列技术，帮助数据计算引擎缓存和发送实时信息流数据，可以很好的处理瞬时或较短时间范围内产出的海量信息流，避免信息爆炸造成信息丢失。提取第一消息队列中各类业务线数据的有效数据流。按照预设的窗口时间，利用滑动窗口对各有效数据流进行统计，得到待分析数据块；将各待分析数据块按照其对应的业务处理规则进行分析，并将得到的分析结果存储至第二消息队列。在该技术方案中，线上平台实时产生的业务线数据不需要先入数据库再读取的方式，本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n将获取的各类业务线数据记录至第一消息队列；/n提取所述第一消息队列中各类业务线数据的有效数据流；/n按照预设的窗口时间，利用滑动窗口对各有效数据流进行统计，得到待分析数据块；/n将各待分析数据块按照其对应的业务处理规则进行分析，并将得到的分析结果存储至第二消息队列。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
将获取的各类业务线数据记录至第一消息队列；
提取所述第一消息队列中各类业务线数据的有效数据流；
按照预设的窗口时间，利用滑动窗口对各有效数据流进行统计，得到待分析数据块；
将各待分析数据块按照其对应的业务处理规则进行分析，并将得到的分析结果存储至第二消息队列。


2.根据权利要求1所述的方法，其特征在于，所述将获取的各类业务线数据记录至第一消息队列包括：
按照预设的分类规则，对获取的各类业务线数据添加标签信息；
将添加标签信息后的各类业务线数据记录至第一消息队列。


3.根据权利要求2所述的方法，其特征在于，所述提取所述第一消息队列中各类业务线数据的有效数据流包括：
根据目标业务线数据所对应的时间戳，对所述目标业务线数据进行排序，得到数据流；其中，所述目标业务线数据为所有业务线数据中的任意一个业务线数据；
按照所述目标业务线数据所对应的数据过滤规则，提取出所述数据流中的有效数据流；其中，不同的标签信息有其各自对应的数据过滤规则。


4.根据权利要求3所述的方法，其特征在于，所述将各待分析数据块按照其对应的业务处理规则进行分析，并将得到的分析结果存储至第二消息队列包括：
当所述待分析数据块为商品交易信息时，根据预先设定的区划信息以及商品类目信息，统计出所述商品交易信息中不同区划下、不同商品类目的销售数量以及销售金额；
将销售数量最高的前N位以及销售金额最高的前N位商品交易信息按照区划、商品类目、销售数量以及销售金额的对应关系存储至第二消息队列。


5.根据权利要求3所述的方法，其特征在于，所述将各待分析数据块按照其对应的业务处理规则进行分析，并将得到的分析结果存储至第二消息队列包括：
当...

【专利技术属性】
技术研发人员：孟浩浩，张春鹏，
申请(专利权)人：政采云有限公司，
类型：发明
国别省市：浙江;33