一种大数据采集方法和系统技术方案

本发明专利技术涉及一种大数据采集方法和系统，所述方法包括:确定当前采集设备是否处于可缺省模式，如果否，则直接将当前采集数据发送给大数据节点；如果是，则判断当前采集数据是否和预测数据一致；如果一致，则缺省发送，否则，将当前采集数据发送给大数据节点；大数据节点存储采集设备发送的数据并提供大数据服务。本发明专利技术在保证数据利用效率的同时降低了对资源的需求；在节省通信开销的同时，进一步节省了大量的大数据节点存储空间。量的大数据节点存储空间。量的大数据节点存储空间。

【技术实现步骤摘要】
一种大数据采集方法和系统


[0001]本专利技术属于大数据领域，尤其涉及一种大数据采集方法和系统。

技术介绍

[0002]随着移动互联网、物联网、社交网络等技术和应用的兴起,全球范围内数据量迅猛增长,大数据(Big Data)时代己经来临。伴随着大数据的产生,其在现代社会和经济活动中发挥着极其重要的作用,同时有效的利用会使大数据产生不可估量的价值,因此大数据被称为新的经济资产类别。海量的电子政务数据、移动终端数据、网站日志、社交媒体数据、来自物联网传感器的流式数据、企业长期积累的业务数据等都是大数据的主要来源,如果能够使这些数据互通共享、融合分析,将会产生巨大的经济和社会效益。
[0003]大数据是多个层面上诸多计算技术的融合,大数据处理是涉及整个软硬件系统各个层面的综合性信息处理技术。一个完整的大数据处理系统是一个包括大数据存储、计算、分析等多个技术层面完整的技术栈。现有技术中，针对大数据的研究颇多，但是大多数的大数据研究均是各自为战，分别在不同的技术层面进行研究，但是一个大数据节点作为一个整体，单个层面的效率提升并不代表整个大数据平台的效能提高，大数据平台的服务质量提升，在这样的情况下，如何从大数据顶层技术出发，深入到大数据的分析计算、存储以及采集，从源头开始提升计算和服务效率，是待解决的问题。

技术实现思路

[0004]为了解决现有技术中的上述问题，本专利技术提出了一种大数据采集方法和系统，所述方法包含：
[0005]步骤S1：当前采集设备对目标对象进行采集以获取当前采集数据；
[0006]步骤S2：确定当前采集设备是否处于可缺省模式，如果是，则进入步骤S3，否则，直接将当前采集数据发送给大数据节点；
[0007]步骤S3：判断当前采集数据是否和预测数据一致，如果是，则将缺省发送，否则，将当前采集数据发送给大数据节点；
[0008]步骤S4：大数据节点存储采集设备发送的数据；
[0009]步骤S5：大数据节点基于存储的采集数据提供大数据服务。
[0010]进一步的，所述步骤S5具体为：大数据节点基于存储的存在缺失的采集数据提供大数据服务。
[0011]进一步的，所述采集设备为一个或多个。
[0012]进一步的，所述采集设备为传感器。
[0013]进一步的，所述采集设备涉及一种或多种类型。
[0014]基于同样的专利技术构思，本专利技术还提供一种大数据采集系统，所述系统包含：采集设备、大数据节点；
[0015]所述采集设备用于采集目标对象的数据，并将采集到的数据发送给大数据节点；
[0016]所述大数据节点为大数据平台的一部分；用于基于采集设备采集到的采集数据进行大数据服务的提供。
[0017]进一步的，所述采集的数据为实时数据。
[0018]基于同样的专利技术构思，本专利技术还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述的大数据采集方法。
[0019]基于同样的专利技术构思，本专利技术还提供一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行所述的大数据采集方法。
[0020]基于同样的专利技术构思，本专利技术还提供一种执行设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现所述的大数据采集方法。
[0021]本专利技术的有益效果包括：
[0022](1)同一采集设备能够为不同资源设置情况的大数据节点、不同数据采集需求服务，在保证数据利用效率的同时降低了对资源的需求；在节省通信开销的同时，进一步节省了大量的大数据节点存储空间；(2)基于准确率模型确定采集设备的发送模式和预测数据的利用方式，提高对基于大数据的准确预测模型的利用效率；(3)通过利用采集设备间数据对采集设备自身数据的预测补充，能够进一步提高大数据利用的有效性；
【附图说明】
[0023]此处所说明的附图是用来提供对本专利技术的进一步理解，构成本申请的一部分，但并不构成对本专利技术的不当限定，在附图中：
[0024]图1为本专利技术的大数据采集方法示意图。
【具体实施方式】
[0025]下面将结合附图以及具体实施例来详细说明本专利技术，其中的示意性实施例以及说明仅用来解释本专利技术，但并不作为对本专利技术的限定通过
[0026]本专利技术提出一种大数据采集系统，所述采集系统包括：采集设备、大数据节点；
[0027]所述采集设备用于采集目标对象的数据，并将采集到的数据发送给大数据节点；所述采集设备为一个或多个；
[0028]优选的：所述采集设备为图像采集设备、声音采集设备等环境采集设备，还包括用户轨迹采集数据等访问数据采集设备；
[0029]所述大数据节点为一个或多个，为大数据平台中的一部分；所述大数据节点构建于大数据平台之上，大数据节点所依托的大数据平台的核心服务层提供的服务包括基础设施即服务、平台即服务、软件即服务。这些服务包括提供实体或虚拟的计算、存储和网络服务，提供应用程序部署与管理服务，提供应用程序。业务终端所属企业可以租用进行信息交换处理；
[0030]所述大数据节点还包括存储设备，用于存储采集到的目标对象的采集数据以及采集设备对应的预测模型；其中：所述预测模型包括第一预测模型和/或联合预测模型中的一个或其组合；其中：第一预测模型用于进行采集设备的采集数据预测，所述第一预测模型为基于采集设备自身的历史数据训练；联合预测模型用于进行采集设备的采集数据预测，基
于采集设备以及和采集设备关联的其他采集设备的历史数据共同训练；
[0031]基于相同的专利技术构思，如附图1所示，本专利技术提出一种大数据采集方法，所述方法包括如下步骤：
[0032]步骤S1：当前采集设备对目标对象进行采集以获取当前数据；具体的：当前采集设备以预设采集周期对目标对象进行采集以获取当前数据；所述采集周期是和采集设备相关的；
[0033]优选的：所述采集设备为一个或多个；
[0034]优选的：所述采集设备为传感器；
[0035]优选的：所述采集设备为一种或多种类型；
[0036]采集设备因为其所处环境的关联性而使得数据之间存在一定的关联性；在发现有效关联性后就能够用于进行部分采集数据的预测；设备间采集数据的预测能够作为设备自身采集设备数据预测的有效补充；通过利用采集设备间数据对采集设备自身数据的预测补充，能够进一步提高大数据利用的有效性；
[0037]步骤S2：确定当前采集设备是否处于可缺省模式，如果是，则进入步骤S3，否则，直接将当前数据发送给大数据节点；
[0038]采集设备有两种模式，缺省发送模式和直接发送模式；缺省发送模式下，采集设备不将采集到的数据发送给大数据节点，从而在不影响大数据使用的情况下节省了通信开销；在直接发送模式下，采集设备直接将采集到的当前数据发送给大数据节点；
[0039]所述确定当前采集设备是否处于可缺省模式，具体为：如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据采集方法，其特征在于，包括：步骤S1：当前采集设备对目标对象进行采集以获取当前采集数据；步骤S2：确定当前采集设备是否处于可缺省模式，如果是，则进入步骤S3，否则，直接将当前采集数据发送给大数据节点；步骤S3：判断当前采集数据是否和预测数据一致，如果是，则将缺省发送，否则，将当前采集数据发送给大数据节点；步骤S4：大数据节点存储采集设备发送的数据；步骤S5：大数据节点基于存储的采集数据提供大数据服务。2.根据权利要求1所述的大数据采集方法，其特征在于，所述步骤S5具体为：大数据节点基于存储的存在缺失的采集数据提供大数据服务。3.根据权利要求2所述的大数据采集方法，其特征在于，所述采集设备为一个或多个。4.根据权利要求3所述的大数据采集方法，其特征在于，所述采集设备为传感器。5.根据权利要求4所述的大数据采集方法，其特征在于，所述采集设备涉及一种或多种类型。6.一种大数据采集系统，其特征在于...

【专利技术属性】
技术研发人员：吴嘉明，谢中淮，郭卫星，
申请(专利权)人：苏州维科苏源新能源科技有限公司，
类型：发明
国别省市：