数据处理方法及数据处理装置制造方法及图纸

本发明专利技术提供一种数据处理方法，其包括：根据预设规则，将数据处理编码分为多个编码单元；根据每个编码单元对应的数据处理编码的功能，从可视化控件数据库中调用相应的可视化控件；根据每个编码单元对应的数据处理编码的参数，对可视化控件设置控件参数；以及使用可视化控件根据编码顺序生成可视化数据处理拓扑结构，并使用可视化数据处理拓扑结构进行数据处理。本发明专利技术还提供一种数据处理装置。本发明专利技术的数据处理方法及数据处理装置通过可视化控件的位置调整实现数据处理编码的调整，对操作人员的要求较低且数据处理效率较高。

【技术实现步骤摘要】

本专利技术涉及数据处理领域，特别是涉及一种数据处理方法及数据处理装置。
技术介绍
为了便于对各种大数据进行统计处理，数据处理开发商开发了各种数据处理软件，以方便各种数据处理业务的开发。为了提高代码的复用率，数据处理发开商会将一些通用数据处理算法封装为一些常用计算逻辑，如数据的统计求和、计数统计、页面浏览量统计、独立访客统计等等。上述常用计算逻辑只需要通过参数配置就可以直接用以数据处理业务，不需要额外开发其他的逻辑。但是随着数据处理装置支持的业务越来越多，对数据处理业务的操作人员的要求也越来越高，该操作人员必须熟悉每个常用计算逻辑以及待处理的数据的存储方式。如操作人员对该数据处理装置不熟悉，将大大影响数据处理的效率。
技术实现思路
本专利技术实施例提供一种对操作人员要求较低且数据处理效率较高的数据处理方法及数据处理装置；以解决现有的数据处理方法及数据处理装置的对操作人员要求较高且数据处理效率较低的技术问题。本专利技术实施例提供一种数据处理方法，其包括：根据预设规则，将数据处理编码分为多个编码单元；根据每个所述编码单元对应的所述数据处理编码的功能，从可视化控件数据库中调用相应的可视化控件；根据每个所述编码单元对应的所述数据处理编码的参数，对所述可视化控件设置控件参数；以及使用所述可视化控件根据编码顺序生成可视化数据处理拓扑结构，并使用所述可视化数据处理拓扑结构进行数据处理。本专利技术实施例还提供一种数据处理装置，其包括：编码划分模块，用于根据预设规则，将数据处理编码分为多个编码单元；控件调用模块，用于根据每个所述编码单元对应的所述数据处理编码的功能，从可视化控件数据库中调用相应的可视化控件；参数设置模块，用于根据每个所述编码单元对应的所述数据处理编码的参数，对所述可视化控件设置控件参数；以及数据处理模块，用于使用所述可视化控件根据编码顺序生成可视化数据处理拓扑结构，并使用所述可视化数据处理拓扑结构进行数据处理。相较于现有技术的数据处理方法及数据处理装置，本专利技术的数据处理方法及数据处理装置通过可视化控件的位置调整实现数据处理编码的调整，对操作人员的要求较低且数据处理效率较高；解决了现有的数据处理方法及数据处理装置的对操作人员要求较高且数据处理效率较低的技术问题。附图说明图1为本专利技术的数据处理方法的第一优选实施例的流程图；图2为本专利技术的数据处理方法的第二优选实施例的流程图；图3为本专利技术的数据处理方法的第二优选实施例的步骤S208的流程图；图4为本专利技术的数据处理装置的第一优选实施例的结构示意图；图5为本专利技术的数据处理装置的第二优选实施例的结构示意图；图6为本专利技术的数据处理装置的第二优选实施例的拓扑结构重构模块的结构示意图；图7A为本专利技术的数据处理方法及数据处理装置的第一具体实施例的编码单元的结构示意图；图7B为本专利技术的数据处理方法及数据处理装置的第一具体实施例的可视化控件的结构示意图；图8A为本专利技术的数据处理方法及数据处理装置的第二具体实施例的编码单元的结构示意图；图8B为本专利技术的数据处理方法及数据处理装置的第二具体实施例修改前的可视化控件的结构示意图；图8C为本专利技术的数据处理方法及数据处理装置的第二具体实施例修改后的可视化控件的结构示意图；图9为本专利技术的数据处理装置所在的电子设备的工作环境结构示意图。具体实施方式请参照图式，其中相同的组件符号代表相同的组件，本专利技术的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本专利技术具体实施例，其不应被视为限制本专利技术未在此详述的其它具体实施例。在以下的说明中，本专利技术的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本专利技术原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。本专利技术的数据处理方法可使用各种具有计算能力的电子设备进行实施，该电子设备包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。本专利技术的数据处理方法通过可视化控件的位置调整实现了数据处理编码的调整。请参照图1，图1为本专利技术的数据处理方法的第一优选实施例的流程图。本优选实施例的数据处理方法包括：步骤S101，根据预设规则，将数据处理编码分为多个编码单元；步骤S102，根据每个编码单元对应的数据处理编码的功能，从可视化控件数据库中调用相应的可视化控件；步骤S103，根据每个编码单元对应的数据处理编码的参数，对可视化控件设置控件参数；步骤S104，使用可视化控件根据编码顺序生成可视化数据处理拓扑结构，并使用可视化数据处理拓扑结构进行数据处理。下面详细说明本优选实施例的数据处理方法的各步骤的具体流程。在步骤S101中，数据处理装置根据预设规则，将数据处理编码分为多个编码单元。这里的数据处理编码为现有的数据处理装置使用的统计算法代码，这里将数据处理编码按编码的功能分为多个编码单元，即各个编码单元应可独立完成以计算功能。具体如：ClickStream＝TAPUSINGMockStreamReader()AS(qqNum:int,content:chararray,clickTime:long)PARALLEL2；#读取数据；out__Filter_1＝FILTERClickStreamBYqqNum>1000；#对数据进行过滤；out__Partition_1＝PARTITIONout__Filter_1BYcontentPARALLEL2；#将过滤后数据输入处理单元out__Foreach_1＝FOREACHout__Partition_1GENERATEqqNumASqqNum:int,contentAScontent:chararray,FLOOR(clickTime/5)*5AStimekey:int；#对数据进行分类处理；ClickStatistcs＝WINDOWout__Foreach_1INTERVAL5GROUPBY(timekey,content)GENERATEgroup,COUNT(out__Foreach_1.timekey)ASclickCount:int；#对分类后的数据进行统计；DUMPClickStatistcsINTOUSINGSimpleTextDumper('E:\\\\output.txt')；#输出统计结果。以上每行的数据处理编码均可完成一独立的计算或统计功能，因此可将上述每一行的数据处理编码划分为一个编码单元。当然这里也可使用其他的预设规则对数据处理编码进行划分。随后转到步骤S102。在步骤S10本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：根据预设规则，将数据处理编码分为多个编码单元；根据每个所述编码单元对应的所述数据处理编码的功能，从可视化控件数据库中调用相应的可视化控件；根据每个所述编码单元对应的所述数据处理编码的参数，对所述可视化控件设置控件参数；以及使用所述可视化控件根据编码顺序生成可视化数据处理拓扑结构，并使用所述可视化数据处理拓扑结构进行数据处理。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据预设规则，将数据处理编码分为多个编码单元；根据每个所述编码单元对应的所述数据处理编码的功能，从可视化控件数据库中调用相应的可视化控件；根据每个所述编码单元对应的所述数据处理编码的参数，对所述可视化控件设置控件参数；以及使用所述可视化控件根据编码顺序生成可视化数据处理拓扑结构，并使用所述可视化数据处理拓扑结构进行数据处理。2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：根据所述编码单元的功能以及参数，使用可视化编程环境将所述编码单元转换为对应的可视化控件；使用所述编码单元以及对应的所述可视化控件，创建所述可视化控件数据库。3.根据权利要求1所述的数据处理方法，其特征在于，所述编码单元包括输入编码单元以及处理编码单元；所述输入编码单元对应的所述可视化控件包括用于输入数据的输入控件以及用于过滤数据的过滤控件；所述处理编码单元对应的所述可视化控件包括用于分割不同的所述编码单元的分割控件、用于将不同的所述编码单元进行捆绑操作的捆绑控件、用于进行数据处理的处理控件、用于进行函数运算的函数控件以及用于输出数据的输出控件。4.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：接收用户的控件拖动指令，并根据所述控件拖动指令将相应的可视化控件设置到预定位置；以及根据拖动后的所述可视化控件的位置，重新生成所述可视化数据处理拓扑结构。5.根据权利要求4所述的数据处理方法，其特征在于，所述根据拖动后的所述可视化控件的位置，重新生成所述可视化数据处理拓扑结构的步骤包括：根据拖动后的所述可视化控件的位置，生成所述可视化控件的默认参数；根据用户的参数修改指令，更新所述可视化控件的参数；以及使用所有的所述可视化控件重新生成所述可视化数据处理拓扑结构。6.根据权利要求5所述的数据处理方法，其特征在于，所述根据拖动后的所述可视化控件的位置，重新生成所述可视化数据处理拓扑结构的步骤还包括：判断拖动后的所述可视化控件对应的数据处理编码是否符合编码规则；如所述数据处理编码不符合编码规则，则进行编码错误提示。7.一种数据处理装置，其特征在于，包括：编码划分模块，用于根据预设规则，将数据处...

【专利技术属性】
技术研发人员：谢怡然，张文郁，向宇，徐钊，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44