一种数据挖掘方法、系统及相关装置制造方法及图纸

本申请提供一种数据挖掘方法，包括：获取挖掘任务；根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序；将所述执行顺序以RPC协议提交至任务调度执行器，以使所述任务调度执行器以所述执行顺序运行所述数据挖掘工具，得到任务结果；将所述任务结果按预设任务结果分发方式发出.通过编辑数据挖掘工具的执行顺序，利用任务调度执行器按执行顺序调用数据挖掘工具以执行挖掘任务，不必人工筛选数据挖掘工具并手动操作执行，提高研发和运营人员的工作效率，减轻重复问题浪费大量的人力资源成本。本申请还提供一种数据挖掘系统、一种计算机可读存储介质和一种终端，具有上述有益效果。

A data mining method, system and related devices

【技术实现步骤摘要】
一种数据挖掘方法、系统及相关装置
本申请涉及大数据领域，特别涉及一种数据挖掘方法、系统及相关装置。
技术介绍
当前信息化浪潮高速发展，各行各业的数据量出现几倍甚至几十倍的增长，特别是电信三大运营商能够收集到的用户网络日志数据量更是暴增。那么如何利用挖掘数据的价值，从这些大量的数据中找寻规律，通过分析得出对社会对企业有实际意义的潜在价值值得深入研究思考。在实际使用过程中，要处理这些日志数据满足大量的产品需求需要大量的人力和大量的具有重复性的工作，很多需要做的统计工作都是研发人员手动进行统计分析后将结果交给产品部门做分析和产品输出，基于此需要对这些通用性的统计分析数和据挖掘工作做成可视化的定制化系统，运营人员只需了解业务而不需要知道具体技术细节即可使用选定的挖掘工具进行自行排序进行任务执行和结果获取。
技术实现思路
本申请的目的是提供一种数据挖掘方法、数据挖掘系统、一种计算机可读存储介质和一种终端，能够提高数据挖掘效率，降低人力资源成本。为解决上述技术问题，本申请提供一种数据挖掘方法，具体技术方案如下：获取挖掘任务；根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序；将所述执行顺序以RPC协议提交至任务调度执行器，以使所述任务调度执行器以所述执行顺序运行所述数据挖掘工具，得到任务结果；将所述任务结果按预设任务结果分发方式发出。其中，根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序之后，还包括：保存所述挖掘任务、所述数据挖掘工具和所述执行顺序至数据库。其中，所述预设任务结果分发方式包括将任务结果存至目标数据库、将所述任务结果写入客户方ftp和将所述任务结果以表格形式发送至目标邮箱中任一种或任几种的组合。其中，根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序包括：根据所述挖掘任务的任务名和任务源数据利用web应用设置数据挖掘工具的执行顺序。其中，根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序之前，还包括：获取调用权限；则根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序包括：确定所述调用权限内的可操作数据挖掘工具；根据所述挖掘任务的任务名和任务源数据设置所述可操作数据挖掘工具的执行顺序。本申请还提供一种数据挖掘系统，包括：获取模块，用于获取挖掘任务；任务编排器，用于根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序；任务调度执行器，用于将所述执行顺序以RPC协议提交至任务调度执行器，以使所述任务调度执行器以所述执行顺序运行所述数据挖掘工具，得到任务结果；任务结果分发器，用于将所述任务结果按预设任务结果分发方式发出。其中，还包括：数据保存模块，保存所述挖掘任务、所述数据挖掘工具和所述执行顺序至数据库。其中，所述任务编排器包括：可视化设定单元，用于根据所述挖掘任务的任务名和任务源数据利用web应用设置数据挖掘工具的执行顺序。本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据挖掘方法的步骤。本申请还提供一种终端，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的数据挖掘方法的步骤。本申请提供一种数据挖掘方法，包括：获取挖掘任务；根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序；将所述执行顺序以RPC协议提交至任务调度执行器，以使所述任务调度执行器以所述执行顺序运行所述数据挖掘工具，得到任务结果；将所述任务结果按预设任务结果分发方式发出。本申请通过编辑数据挖掘工具的执行顺序，利用任务调度执行器按执行顺序调用数据挖掘工具以执行挖掘任务，不必人工筛选数据挖掘工具并手动操作执行，提高研发和运营人员的工作效率，减轻重复问题浪费大量的人力资源成本。本申请还提供一种数据挖掘系统、一种计算机可读存储介质和一种终端，具有上述有益效果，此处不再赘述。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例所提供的一种数据挖掘方法的流程图；图2为本申请实施例所提供的一种数据挖掘系统结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。请参考图1，图1为本申请实施例所提供的一种数据挖掘方法的流程图，该方法包括：S101：获取挖掘任务；S102：根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序；通过在系统中可以预先配置多个数据挖掘工具集合，例如：过滤某地区的所有上网用户工具，年龄段在某一区间的过滤工具，满足某特定url的过滤工具等。本步骤旨在根据挖掘任务设置数据挖掘工具的执行顺序。具体的，在设置时，先定义挖掘任务的任务名和任务的源数据，源数据可以使用哪些工具读取执行是有选择校验的，然后添加第二个工具、第三个工具等，以此类推直到选择完合适的处理流程。简单来说，并非任一数据挖掘工具适用于所有类型的挖掘任务，因此本步骤在设定数据挖掘工具的同时，还需要兼顾数据挖掘工具的使用可行性。此外，还需要考虑任务名，例如某挖掘任务是某年龄段人群的每月通话分钟数，此时应优先考虑从年龄段在某一区间的过滤工具集合中挑选数据挖掘工具，并设置相应的执行顺序。优选的，本步骤可以使用任务可视化编排器执行，即根据所述挖掘任务的任务名和任务源数据利用web应用设置数据挖掘工具的执行顺序。利用web应用系统的可视化特点便于用户清晰的查看到哪些数据挖掘工具被便于执行顺序中，便于掌握数据挖掘进展和挖掘状况。通常，在设定执行顺序时，还会设定任务结果分发方式，即步骤S104中的预设任务结果分发方式。预设任务结果分发方式包括将任务结果存至目标数据库、将所述任务结果写入客户方ftp和将所述任务结果以表格形式发送至目标邮箱中任一种或任几种的组合，可以选择其中一种执行，也可以任意几种的组合执行，具体的结果分发方式还需要是挖掘任务的重要性及客户需要程度而定，在此不作限定。此外，得到执行顺序后，为了生成日志便于后续管理和查验，可以保存挖掘任务、数据挖掘工具和执行顺序至数据库。S103：将所述执行顺序以RPC协议提交至任务调度执行器，以使所述任务调度执行器以所述执行顺序本文档来自技高网...

【技术保护点】
1.一种数据挖掘方法，其特征在于，包括：/n获取挖掘任务；/n根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序；/n将所述执行顺序以RPC协议提交至任务调度执行器，以使所述任务调度执行器以所述执行顺序运行所述数据挖掘工具，得到任务结果；/n将所述任务结果按预设任务结果分发方式发出。/n

【技术特征摘要】
1.一种数据挖掘方法，其特征在于，包括：
获取挖掘任务；
根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序；
将所述执行顺序以RPC协议提交至任务调度执行器，以使所述任务调度执行器以所述执行顺序运行所述数据挖掘工具，得到任务结果；
将所述任务结果按预设任务结果分发方式发出。


2.根据权利要求1所述的数据挖掘方法，其特征在于，根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序之后，还包括：
保存所述挖掘任务、所述数据挖掘工具和所述执行顺序至数据库。


3.根据权利要求1所述的数据挖掘方法，其特征在于，所述预设任务结果分发方式包括将任务结果存至目标数据库、将所述任务结果写入客户方ftp和将所述任务结果以表格形式发送至目标邮箱中任一种或任几种的组合。


4.根据权利要求1所述的数据挖掘方法，其特征在于，根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序包括：
根据所述挖掘任务的任务名和任务源数据利用web应用设置数据挖掘工具的执行顺序。


5.根据权利要求1所述的数据挖掘方法，其特征在于，根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序之前，还包括：
获取调用权限；
则根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序包括：
确定所...

【专利技术属性】
技术研发人员：潘利杰，
申请(专利权)人：北京浪潮数据技术有限公司，
类型：发明
国别省市：北京;11