一种数据资源优化的方法、平台及系统技术方案

本发明专利技术涉及一种数据资源优化的方法、平台及系统，方法包括从数据采集设备获取数据，对数据进行处理并存储，以作为可调用数据，实时监听外部连接资源请求，对外部连接资源请求进行分析和归类，基于线程池调度管理技术对可调用数据进行调配，以响应外部连接资源请求。通过基于线程池调度管理技术对可调用数据进行调配，从而能够通过并行运行多个作业来解决多用户请求，提高数据资源优化平台的处理性能。

Method, platform and system for optimizing data resource

The invention relates to a method, data resource optimization platform and system. The method comprises the steps of obtaining data from the data acquisition equipment, processing and storage of data, can call the data for real-time monitoring, external connection resource request, the external connection requests for resources were analyzed and classified, thread pool scheduling management technology of the call data based on the deployment, in response to external connection resource request. Through the thread pool scheduling management technology, the call data can be deployed, so that multiple jobs can be solved by running multiple jobs in parallel, so as to improve the processing performance of the data resource optimization platform.

【技术实现步骤摘要】
一种数据资源优化的方法、平台及系统
本专利技术涉及数据处理
，特别是涉及一种数据资源优化的方法、平台及系统。
技术介绍
物联网是指在物理世界的客观实体中部署能够获取和处理物体自身或周围环境的状态信息的传感设备，从而实现广域或大范围的物与物、人与物之间信息交换的互连互通和互操作。物联网将不同地域、不同领域、不同应用、不同行业的物理实体按其内在关系紧密地关联在一起，为物联网业务分配相应的资源，从而对这些数据进行有效存储、深入分析、智能处理，并根据这些数据对物体进行控制和管理。目前在物联网领域，远程监测和集中控制技术已趋于成熟。但在传统的建设过程中，要求一次性投入进行大量设备建设，还需要专人进行系统维护。受限于一次性投入成本，物联网服务供应商可能无法享受到先进技术对管理能力的提升。应用先进技术模块化物联网系统的功能和组件，接口化分析平台调用，可以增加系统运行的稳定性以及平台扩展的灵活性。目前大部分资源调度管理方法或系统通常特定类型的资源进行管理，面对其它类型的资源则无能为力。在这些系统平台中，资源的属性往往是固定不变的，缺乏灵活性。
技术实现思路
基于此，本专利技术针对上述问题，提供一种数据资源优化的方法、平台及系统，能够有效整合网络计算机资源，提高设备利用率的同时降低设施建设成本。一种数据资源优化的方法，所述方法包括以下步骤：从数据采集设备获取数据，对数据进行处理并存储，以作为可调用数据；实时监听外部连接资源请求，对所述外部连接资源请求进行分析和归类；基于线程池调度管理技术对所述可调用数据进行调配，以响应所述外部连接资源请求。一种数据资源优化平台，所述平台包括数据服务模块、服务管理模块和服务应用模块，其中：所述数据服务模块用于从数据采集设备获取数据，对数据进行处理并存储，以作为可调用数据；所述服务管理模块用于实时监听外部连接资源请求，对所述外部连接资源请求进行分析和归类；所述服务应用模块用于基于线程池调度管理技术对所述可调用数据进行调配，以响应所述外部连接资源请求。一种数据资源优化的系统，所述系统包括上述的数据资源优化平台以及与所述数据资源优化平台连接的数据采集设备。上述数据资源优化的方法、平台及系统，从数据采集设备获取数据，对数据进行处理并存储，以作为可调用数据，实时监听外部连接资源请求，对外部连接资源请求进行分析和归类，基于线程池调度管理技术对可调用数据进行调配，以响应外部连接资源请求。本专利技术的数据资源优化的方法是基于线程池调度管理技术对可调用数据进行调配，从而能够通过并行运行多个作业来解决多用户请求，提高数据资源优化平台的处理性能。同时该方法适用于任何类型的资源优化管理，增加了数据资源优化平台的稳定性和灵活性。附图说明图1为一实施例中数据资源优化的方法的流程图；图2为一实施例中负载优化管理的流程图；图3为一实施例中单线程、多线程、事件驱动模型对比示意图；图4为一实施例中数据资源优化平台的结构示意图；图5为一实施例中服务管理模块的结构示意图；图6为一实施例中数据资源优化的系统具体应用示意图。具体实施方式在一个实施例中，一种数据资源优化的方法，如图1所示，包括以下步骤：步骤S101：从数据采集设备获取数据，对数据进行处理并存储，以作为可调用数据。其中，平台通过无线网络从数据采集设备获取数据，对数据进行检查和过滤，并利用元数据计算对数据进行一致性和标准化处理并存储，以作为可调用数据。数据是物联网中最有价值的部分，来源于不同的数据采集设备，呈现出大规模、多源异构、多维标量和时空相关等特性。数据按传输大小可分为轻量级和多媒体数据，轻量级数据包括数值类型和字符型数据，多媒体数据一般指图像、音频、视频等。作为其中一种实现方式，本专利技术实施例以轻量级数据作为举例说明。其中，作为一种可能的实现方式，本专利技术实施例中数据采集设备被布置为监控网络，对被监控区域进行数据采样。为了对数据进行统一调用，平台需要对来源于数据采集设备的海量数据信息进行解析和处理，对数据进行检查和过滤，保证数据的完整性和有效性。同时为了实现对数据的统一调用，利用元数据技术对异构数据进行一致性和标准化处理，进行存储，从而为后续数据的统一利用提供可能。其中，数据采集设备与平台之间的数据交互被定义为一种特定类型事件。平台将经处理后的可调用数据按照事先定义的数据格式放到接受队伍中，以等待被调用。步骤S102：实时监听外部连接资源请求，对外部连接资源请求进行分析和归类。平台通过为每个终端的连接资源请求分配唯一的任务标识号，采用监听端口的方式处理外部连接资源请求。S103：基于线程池调度管理技术对所述可调用数据进行调配，以响应外部连接资源请求。作为其中一种可能的实现方式，本专利技术实施例基于时间驱动模型设计线程池调度技术，这种模型在事件循环中采用回调来触发事件的相关动作，其中，本专利技术实施例的基于事件驱动的模型与单线程(同步)和多线程编程的对比如图3所示。从图3可知，在单线程处理过程中，每个任务将会按顺序依次执行。当一个任务在处理I/O操作时，其它的任务都必须等待该I/O操作的完成，这将减慢整体的进度。在多线程处理中，当一个线程发生I/O阻塞时，其它的线程并不会受其影响，但同时多个任务同时进行，多个线程间就不可避免会共享数据，容易引发各种问题。事件驱动模型在一个线程中交错地处理多个任务。当执行I/O或一些较为费时的处理时，就会在事件循环中注册一个回调(callback)，使得它可以在完成这一费时的处理之后再被执行。回调的作用在于当完成这个事件触发之后应当如何进行处理。事件循环则会循环地检测事件的到来并将其正确的分派到对应的回调中去。事件驱动模型具有像多线程程序那样的并发性、又不失单线程中那样简单的逻辑。因此它非常适合处理以下场景：1)有大量的任务，因此在一个时刻至少有一个任务要运行；2)任务执行大量的I/O操作；3)任务之间相互独立，以至于任务内部的交互很少。本专利技术实施例的物联网数据资源优化平台也具备上述特点，因此，本专利技术实施例采用基于事件驱动模型设计线程池调度技术。由于可能需要同时发送大量终端指令，所以在具体实现过程中，本专利技术实施例通过启动多个线程采用压缩方式进行并行发送，将发送队列中的数据发送给终端。作为一种具体的实现，本专利技术为各种连接抽象定义为Protocol类，Protocol类通过提供connectionMade()，dataReceived()，connectionClosed()等方法无阻塞的处理常见的应用层协，如HTTP,telnet,DNS等。它为不同的事件(资源连接请求)提供了一个通用的接口，以便在网络协议栈的任何地方对事件(资源连接请求)作出响应。其中，采用线程调度管理技术并发执行多个作业任务，包括启动、停止和增加线程池中的临界线成熟，避免某些情况死锁。比如，定义一个事件循环体，并将事件对应的业务逻辑定义为相应的事件处理函数。事件循环体是线程池调度模块的核心，用于检测各种网络请求和定时事件，等待事件的发生，并通过回调函数链(callbackchain)将接收/发送缓冲区中的事件正确分配到对应的事件处理函数。回调函数链中包含一系列的回调函数对(callbackpair)，每一对回调函数对对应于一类业务逻辑处理应用函数，分别为一个处理成功的回调本文档来自技高网...

【技术保护点】
一种数据资源优化的方法，其特征在于，所述方法包括以下步骤：从数据采集设备获取数据，对数据进行处理并存储，以作为可调用数据；实时监听外部连接资源请求，对所述外部连接资源请求进行分析和归类；基于线程池调度管理技术对所述可调用数据进行调配，以响应所述外部连接资源请求。

【技术特征摘要】
1.一种数据资源优化的方法，其特征在于，所述方法包括以下步骤：从数据采集设备获取数据，对数据进行处理并存储，以作为可调用数据；实时监听外部连接资源请求，对所述外部连接资源请求进行分析和归类；基于线程池调度管理技术对所述可调用数据进行调配，以响应所述外部连接资源请求。2.根据权利要求1所述的方法，其特征在于，所述基于线程池调度管理技术对所述可调用数据进行调配，以响应所述外部连接资源请求包括：基于事件驱动模型设计线程池调度技术，并发执行多个所述可调用数据的发送，以响应多个所述外部连接资源请求。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据当前时间之前的预定个时间段内的历史负载数据进行负载预测，以得到当前时间之后预定时间段的负载预测值；根据所述负载预测值，对所述当前时间之后预定个时间段内的线程和业务执行参数进行统计分类，生成负载调度结果；结合所述负载调度结果，基于线程池调度管理技术对所述可调用数据进行调配。4.根据权利要求3所述的方法，其特征在于，所述业务执行参数至少包括数据量大小、数据到达频率、队列长度、业务线程数和业务执行时间长度；所述对所述预定个时间段内的线程和业务执行参数进行统计分类包括：采用决策树分类、贝叶斯分类算法、神经网分类算法、SVM分类算法和KNN算法中的至少一种分类器，对所述当前时间之后预定个时间段内的线程和业务执行参数进行统计分类。5.根据权利要求1所述的方法，其特征在于，所述实时监听外部连接资源请求包括：为每个终端的连接资源请求分配唯一的任务标识号，通过监听端口的方式实时监听外部连接资源请求。6.根据权利要求1所述的方法，其特征在于，所述从数据采集设备获取数据，对数据进行处理并存储，以作为可调用数据包括：通过无线网络从数据采集设备获取数据，对所述数据进行检查和过滤，并利用原数据计算对所述数据进行一致性和标准化处理并存储，以作为可调用数据。7.一种数据资源优化平台，其特征在于，所述平台包括数据服务模块、服务管理模块和服务应用模块，其中：所述数据服务模块用于从数据采集设备获取数据，对数据进行处理并存储，以作为可调用数据；所述服务管理模块用于...

【专利技术属性】
技术研发人员：周榕，陈春，张涌，冯圣中，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东,44