一种基于事件分类的交通元数据管理方法及系统技术方案

本发明专利技术提供一种基于事件分类的交通元数据管理方法及系统。其中，所述基于事件分类的交通元数据管理方法包括：获取交通元数据，并根据预设的决策树算法利用所述交通元数据的属性值进行决策，将所述交通元数据分成热点数据或非热点数据；根据元数据服务器的状态指标值采用模糊优选法确定第一目标服务器以及第二目标服务器；将所述热点数据和非热点数据存储到第一目标服务器，将所述热点数据复制到第二目标服务器。本发明专利技术的方案能够实现元数据服务器之间的负载均衡，提高数据检索速度，满足不同用户对不同数据的需求，提高用户访问效率。

Traffic metadata management method and system based on event classification

The invention provides a traffic metadata management method and system based on event classification. Among them, the traffic event classification based on metadata management method comprises: acquiring traffic metadata, and according to the decision tree algorithm using the default attribute traffic metadata value of decision-making, the metadata is divided into traffic hot data or non hot data; according to the value of the fuzzy optimization method to determine the first target server and target server status second the index element data server; the hot data and non hot data storage to the first target server, the hot data copied to the target server second. The scheme of the invention can realize the load balance among the metadata servers, improve the speed of data retrieval, meet the needs of different users to different data, and improve the efficiency of user access.

【技术实现步骤摘要】

本专利技术涉及一种计算机数据管理技术，特别是涉及一种基于事件分类的交通元数据管理方法及系统。
技术介绍
在智能交通系统中，每天源源不断地产生不同种类的交通数据，例如来自道路摄像头的监控视频信和图像数据、来自交通路网传感器的交通流量和道路占有率数据、来自交通管理部门的交通违规和事故数据等。数据的规模达到了TB甚至PB级，数据类型种类繁多，主要有，并且，交通数据有一定的特征，例如道路交通数据除时间特性外还具有很强的空间特性；道路交通流信息存在实时性的特点，短期内信息会迅速膨胀；交通事故多发于早晚高峰时间、节假日以及车流量大的地区等。目前海量数据存储系统大多采用了对象存储技术，将数据和描述数据的元数据分开存储，引入了元数据服务器，在基于对象的空间数据的存储架构中，元数据的访问达到了50％～80％，元数据的操作占文件系统中所有文件操作的50％，由此可见，元数据服务器的性能成为决定系统性能的关键因素。由于交通数据具有来源广泛、数据规模庞大、形式多样、异构性和多层次的特点，以及不同用户对不同数据的需求不同，现有的元数据管理策略存在着元数据服务器之间负载不均衡和数据检索速度低等问题，最终导致用户访问的延迟，不能很好地应用于智能交通平台。鉴于此，如何找到方便用户快捷有效访问的交通数据管理方案就成了本领域技术人员亟待解决的问题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于事件分类的交通元数据管理方法及系统，用于解决现有技术中交通元数据服务器之间负载不均衡和数据检索速度低等问题。为实现上述目的及其他相关目的，本专利技术提供一种基于事件分类的交通元数据管理方法，所述基于事件分类的交通元数据管理方法包括：获取交通元数据，并根据预设的决策树算法利用所述交通元数据的属性值进行决策，将所述交通元数据分成热点数据或非热点数据；根据元数据服务器的状态指标值采用模糊优选法确定第一目标服务器以及第二目标服务器；将所述热点数据和非热点数据存储到第一目标服务器，将所述热点数据复制到第二目标服务器。可选地，所述交通元数据的属性包括时间、地段和事件类型。可选地，所述决策树算法包括C4.5决策树算法。可选地，根据元数据服务器的状态指标值采用模糊优选法确定第一目标服务器以及第二目标服务器的具体实现包括：获取当前所有元数据服务器的状态指标值，并根据所述元数据服务器的状态指标值确定目标服务器；根据所有的目标服务器的状态指标值建立相对优属度矩阵，并对所述相对优属度矩阵进行归一化转化成规范矩阵；利用熵权法计算各个所述状态指标相应的熵权，进而计算得到加权目标优属度矩阵；根据所述加权目标优属度矩阵计算相对优属度向量，从而确定第一目标服务器与第二目标服务器。可选地，所述状态指标值包括：CPU利用率、内存利用率、IO利用率、带宽利用率、元数据总热度以及传输成本的任一组合。可选地，所述基于事件分类的交通元数据管理方法还包括：当一个元数据服务器满足设定迁移条件时，选出所述元数据服务器中最热的子树数据，将所述最热的子树数据迁移到所述第一目标服务器。可选地，所述设定迁移条件包括：所述元数据服务器的CPU利用率大于90％。本专利技术提供一种基于事件分类的交通元数据管理系统，所述基于事件分类的交通元数据管理系统包括：交通元数据处理模块，用于获取交通元数据，并根据预设的决策树算法利用所述交通元数据的属性值进行决策，将所述交通元数据分成热点数据或非热点数据；目标服务器确定模块，用于根据元数据服务器的状态指标值采用模糊优选法确定第一目标服务器以及第二目标服务器；数据存储复制模块，用于将所述热点数据和非热点数据存储到第一目标服务器，将所述热点数据复制到第二目标服务器。可选地，所述交通元数据的属性包括时间、地段和事件类型。可选地，所述决策树算法包括C4.5决策树算法。可选地，根据元数据服务器的状态指标值采用模糊优选法确定第一目标服务器以及第二目标服务器的具体实现包括：获取当前所有元数据服务器的状态指标值，并根据所述元数据服务器的状态指标值确定目标服务器；根据所有的目标服务器的状态指标值建立相对优属度矩阵，并对所述相对优属度矩阵进行归一化转化成规范矩阵；利用熵权法计算各个所述状态指标相应的熵权，进而计算得到加权目标优属度矩阵；根据所述加权目标优属度矩阵计算相对优属度向量，从而确定第一目标服务器与第二目标服务器。可选地，所述状态指标值包括：CPU利用率、内存利用率、IO利用率、带宽利用率、元数据总热度以及传输成本的任一组合。可选地，所述数据存储复制模块还用于：当一个元数据服务器满足设定迁移条件时，选出所述元数据服务器中最热的子树数据，将所述最热的子树数据迁移到所述第一目标服务器。可选地，所述设定迁移条件包括：所述元数据服务器的CPU利用率大于90％。如上所述，本专利技术的一种基于事件分类的交通元数据管理方法及系统，具有以下有益效果：能够将文件系统的元数据管理策略与交通事件的特点相结合，构建一个交通事件的分类模型，面向智能交通监控平台，进行元数据管理策略的改进和优化。本专利技术的方案能够实现元数据服务器之间的负载均衡，提高数据检索速度，满足不同用户对不同数据的需求，提高用户访问效率。附图说明图1显示为本专利技术的基于事件分类的交通元数据管理方法的一实施例的流程示意图。图2显示为本专利技术的基于事件分类的交通元数据管理方法的另一实施例的交通元数据分类示意图。图3显示为本专利技术的基于事件分类的交通元数据管理方法的另一实施例的流程示意图。图4显示为本专利技术的基于事件分类的交通元数据管理系统的一实施例的模块示意图。元件标号说明1 基于事件分类的交通元数据管理系统11 交通元数据处理模块12 目标服务器确定模块13 数据存储复制模块S1～S3 步骤具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需要说明的是，本实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。本专利技术采用了一种被广泛使用的分类算法——决策树，决策树的优势在于构造过程不需要任何领域知识或参数设置，因此在实际应用中，对于探测式的知识发现，决策树更加适用。决策树(decision tree)是一个树结构，其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。决策树的构造过程不依赖领域知识，它使用属性选择度量来选择将元组最好地划分成不同的类的属性。所谓决策树的构造就是进行属性选择度量确定各个特征属性之间的拓扑结构。构造决策树的关键步骤是分裂属性。所本文档来自技高网...

【技术保护点】
一种基于事件分类的交通元数据管理方法，其特征在于，所述基于事件分类的交通元数据管理方法包括：获取交通元数据，并根据预设的决策树算法利用所述交通元数据的属性值进行决策，将所述交通元数据分成热点数据或非热点数据；根据元数据服务器的状态指标值采用模糊优选法确定第一目标服务器以及第二目标服务器；将所述热点数据和非热点数据存储到第一目标服务器，将所述热点数据复制到第二目标服务器。

【技术特征摘要】
1.一种基于事件分类的交通元数据管理方法，其特征在于，所述基于事件分类的交通元数据管理方法包括：获取交通元数据，并根据预设的决策树算法利用所述交通元数据的属性值进行决策，将所述交通元数据分成热点数据或非热点数据；根据元数据服务器的状态指标值采用模糊优选法确定第一目标服务器以及第二目标服务器；将所述热点数据和非热点数据存储到第一目标服务器，将所述热点数据复制到第二目标服务器。2.根据权利要求1所述的基于事件分类的交通元数据管理方法，其特征在于：所述交通元数据的属性包括时间、地段和事件类型。3.根据权利要求1所述的基于事件分类的交通元数据管理方法，其特征在于：根据元数据服务器的状态指标值采用模糊优选法确定第一目标服务器以及第二目标服务器的具体实现包括：获取当前所有元数据服务器的状态指标值，并根据所述元数据服务器的状态指标值确定目标服务器；根据所有的目标服务器的状态指标值建立相对优属度矩阵，并对所述相对优属度矩阵进行归一化转化成规范矩阵；利用熵权法计算各个所述状态指标相应的熵权，进而计算得到加权目标优属度矩阵；根据所述加权目标优属度矩阵计算相对优属度向量，从而确定第一目标服务器与第二目标服务器。4.根据权利要求1所述的基于事件分类的交通元数据管理方法，其特征在于：所述状态指标值包括：CPU利用率、内存利用率、IO利用率、带宽利用率、元数据总热度以及传输成本的任一组合。5.根据权利要求1所述的基于事件分类的交通元数据管理方法，其特征在于：所述基于事件分类的交通元数据管理方法还包括：当一个元数据服务器满足设定迁移条件时，选出所述元数据服务器中最热的子树数据，将所述最热的子树数据迁移到所述第一目标服务器。6.一种基于事件分类的交通元...

【专利技术属性】
技术研发人员：蒋昌俊，陈闳中，闫春钢，张亚英，喻剑，叶晨，苏亚运，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31