一种并联式数据处理系统的处理方法技术方案

技术编号:21628119 阅读:74 留言:0更新日期:2019-07-17 10:50
本发明专利技术公开了一种并联式数据处理系统的处理方法,包括以下步骤:1)标识信息接收单元接收初始数据信息;2)所述初始数据信息传输给数据信息处理单元;3)所述数据信息处理单元中并联的若干个的数据信息处理子单元分别同时进行数据信息处理;4)数据信息处理得到的结果传输到处理信息接收单元。本发明专利技术是一种开放式或者连通式的数据处理系统,不同数据处理单元之间形成并联模式,很好地实现了各个单元上相互之间的信息互通共享,不同数据处理子单元的处理信息第一时间同时快速实现;不同数据处理子单元之间串联模式,递进层次设计,上一级处理信息依次递进传输给下一级数据处理单元,提高了数据处理系统的处理效率和准确率。

A Processing Method of Parallel Data Processing System

【技术实现步骤摘要】
一种并联式数据处理系统的处理方法
本专利技术属于大数据
,具体涉及一种并联式数据处理系统的处理方法。
技术介绍
数据处理系统(Dataprocessingsystem)是指运用计算机处理信息而构成的系统。通过数据处理系统对数据信息进行加工、整理,计算得到各种分析指标,转变为易于被人们所接受的信息形式,并可以将处理后的信息进行贮存。数据库主要担负数据的存储和计算工作,譬如Oracle,Mysql等数据库工具。数据处理系统的主要功能是将输入的数据信息进行加工、整理,计算各种分析指标,变为易于被人们所接受的信息形式,并将处理后的信息进行有序贮存,随时通过外部设备输给信息使用者。大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临,大数据(Bigdata)也吸引了越来越多的关注。分析师团队认为,大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据包括结构化、半结构化和非结构化数据,非结构化数据越来越成为数据的主要部分。据IDC的调查报告显示:企业中80%的数据都是非结构化数据,这些数据每年都按指数增长60%。大数据就是互联网发展到现今阶段的一种表象或特征而已,没有必要神话它或对它保持敬畏之心,在以云计算为代表的技术创新大幕的衬托下,这些原本看起来很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。在当下及未来,大数据越来越受到广泛的应用,而其对应的数据处理系统也要相应地跟上大数据发展越来越快、越来越繁复的发展步伐。但是,现有的数据处理系统大多为单线的传输处理方式,不同的处理体系和终端都相互独立分离,很多信息无法有效交融互通,导致很多信息的封闭性,大大降低了数据处理的效率。因此,如何实现一种信息互通共享的开放式或者连通式的数据处理系统,成了本
重点的研究方向,并且具有广阔的市场空间和应用前景。
技术实现思路
专利技术目的:为了克服现有技术中存在的不足,本专利技术提供一种并联式数据处理系统的处理方法,是一种开放式或者连通式的数据处理系统,实现了信息互通共享,提高了数据处理系统的处理效率和准确率。技术方案:为实现上述目的,本专利技术采用如下技术方案:一种并联式数据处理系统的处理方法,包括以下步骤:1)标识信息接收单元接收初始数据信息;2)所述初始数据信息传输给数据信息处理单元;3)所述数据信息处理单元中并联的若干个的数据信息处理子单元分别同时进行数据信息处理;4)数据信息处理得到的结果传输到处理信息接收单元。进一步的,在本专利技术中,所述数据信息处理子单元之间依次相互串联连接。进一步的,在本专利技术中,所述数据信息处理单元由四个数据信息处理子单元依次串联组成,分别依次为第一数据信息处理子单元、第二数据信息处理子单元、第三数据信息处理子单元和第四数据信息处理子单元,且每个数据信息处理子单元的数据处理能力依次增强。进一步的,在本专利技术中,后一个数据信息处理子单元接收的数据信息包括:标识信息接收单元的初始数据信息和前面的数据信息处理子单元处理后得到的数据处理信息;所述处理信息接收单元接收的数据信息包括:标识信息接收单元的初始数据信息和每一个数据信息处理子单元处理后得到的数据处理信息。进一步的,在本专利技术中,步骤3)中,后一个数据信息处理子单元接收到初始数据信息和前面的数据信息处理子单元处理后得到的数据处理信息后,经过数据信息过滤器,将已经被前面的数据信息处理子单元处理过的初始数据信息的部分过滤掉,直接传输到下一个数据信息处理子单元或处理信息接收单元,剩下的部分未经处理的初始数据信息再由该数据信息处理子单元进行数据处理工作。进一步的,在本专利技术中,所述标识信息接收单元还与处理信息接收单元连接,直接将接收到的初始数据信息传输给处理信息接收单元。有益效果:本专利技术的并联式数据处理系统的处理方法,与现有技术相比,具有以下优势:本专利技术是一种开放式或者连通式的数据处理系统,不同数据处理单元之间形成并联模式,很好地实现了各个单元上相互之间的信息互通共享,使得不同数据处理子单元的处理信息第一时间同时快速实现,同时还设计了不同数据处理子单元之间串联模式,且为递进层次设计,上一级的处理信息依次递进传输给下一级数据处理单元,以此类推,提高了数据处理系统的处理效率和准确率。具体实施方式下面结合实施例对本专利技术作更进一步的说明。实施例一种并联式数据处理系统的处理方法,包括以下步骤:1)标识信息接收单元接收初始数据信息;2)所述初始数据信息传输给数据信息处理单元;3)所述数据信息处理单元中并联的若干个的数据信息处理子单元分别同时进行数据信息处理;4)数据信息处理得到的结果传输到处理信息接收单元。优选的,在本实施例中,所述数据信息处理子单元之间依次相互连接。实现几个数据信息处理子单元的信息的相互共享,打破了自我的束缚。优选的,在本实施例中,所述数据信息处理单元由四个数据信息处理子单元并联组成,分别依次为第一数据信息处理子单元、第二数据信息处理子单元、第三数据信息处理子单元、第四数据信息处理子单元,且每个数据信息处理子单元的数据处理能力依次增强。不同的数据信息处理子单元按照处理能力层层递进排列,使得信息逐次增强增大,可以有效减轻前面的数据信息处理子单元的负荷,减少成本,节省时间;后面的数据信息处理子单元对于已经被处理过的数据信息,可以直接采用已处理后的结果,而不用再重复处理,快速高效避免重复工作。优选的,在该实施例中,后一个数据信息处理子单元接收的数据信息包括:标识信息接收单元的初始数据信息和前面的数据信息处理子单元处理后得到的数据处理信息;所述处理信息接收单元接收的数据信息包括:标识信息接收单元的初始数据信息和每一个数据信息处理子单元处理后得到的数据处理信息。确保最初接收到的初始数据信息和每一个中间过程得到的处理结果都能全面有效地保存在处理信息接收单元中。优选的,在该实施例中,步骤3)中,后一个数据信息处理子单元接收到初始数据信息和前面的数据信息处理子单元处理后得到的数据处理信息后,经过数据信息过滤器,将已经被前面的数据信息处理子单元处理过的初始数据信息的部分过滤掉,直接传输到下一个数据信息处理子单元或处理信息接收单元,剩下的部分未经处理的初始数据信息再由该数据信息处理子单元进行数据处理工作。依次往后的数据信息处理子单元的处理内容是初始数据信息与前面的数据信息处理子单元处理后得到的数据处理信息的组合形式,也就是初始数据加中间结果的有效组合,使得该数据信息处理子单元的处理重点更加清晰,前期的数据处理工作都由前面的数据信息处理子单元代为完成了,大大降低了该数据信息处理子单元的处理工作量,节省时间,更加具有时效性和针对性。优选的,在该实施例中,所述标识信息接收单元还与处理信息接收单元连接,直接将接收到的初始数据信息传输给处理信息接收单元。为了提高本文档来自技高网
...

【技术保护点】
1.一种串联式数据处理系统的处理方法,其特征在于:包括以下步骤:1)标识信息接收单元接收初始数据信息;2)所述初始数据信息传输给数据信息处理单元;3)所述数据信息处理单元中并联的若干个的数据信息处理子单元分别同时进行数据信息处理;4)数据信息处理得到的结果传输到处理信息接收单元。

【技术特征摘要】
1.一种串联式数据处理系统的处理方法,其特征在于:包括以下步骤:1)标识信息接收单元接收初始数据信息;2)所述初始数据信息传输给数据信息处理单元;3)所述数据信息处理单元中并联的若干个的数据信息处理子单元分别同时进行数据信息处理;4)数据信息处理得到的结果传输到处理信息接收单元。2.根据权利要求1所述的串联式数据处理系统的处理方法,其特征在于:所述数据信息处理子单元之间依次相互串联连接。3.根据权利要求1或2所述的串联式数据处理系统的处理方法,其特征在于:所述数据信息处理单元由四个数据信息处理子单元依次串联组成,分别依次为第一数据信息处理子单元、第二数据信息处理子单元、第三数据信息处理子单元和第四数据信息处理子单元,且每个数据信息处理子单元的数据处理能力依次增强。4.根据权利要求2所述的串联式数据处理系统的处理方法,其特征在于:后一个数据信息处理子单元接收的...

【专利技术属性】
技术研发人员:高树陈瑞坤
申请(专利权)人:南京唯实科技有限公司
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1