【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种交通数据分级分类处理方法、系统、装置及存储介质。
技术介绍
1、交通行业的业务覆盖面广，涵盖公路、客货运输、港航、航空、铁路、枢纽、城市交通、静态交通、慢行交通等多个领域，服务着市民、企业、政府等多类群体的需求，随着业务数据化的逐渐增加，产生了类型多样且体量庞大的交通数据，为交通数据的处理带来的巨大的挑战。
2、目前的交通数据处理存在的问题主要有：
3、(1)分级分类处理复杂：交通大数据的来源多样，如市民在出行过程中会产生出行数据、订单数据、路线数据等；企业经营处理中会出现公交车辆数据、公交车调度数据、公交车发车班次数据、公共交通线路数据、公共交通站点数据等；交通主管部门在监督和服务的过程中会产生企业的基础信息数据、政策法规数据、交通运营行政审批数据、交通执法数据、行业运行监测数据等。从交通参与者角度讲，交通数据类别涉及个人、企业、行业组织、政府机构等多种参与主体。
4、(2)纵横向共享集约度差：交通作为城市的主要组成部分，其运转与城市的运营相辅相成，从纵向角度来看，交通大数据的应用涉及个体、组织和政府，且组织中会有分公司和子公司，政府中又分为部省市区县多个层级，点对点的服务形式难以满足分散的用户群体结构及其需求；从横向角度讲，交通大数据的应用需要融合城市其他组成部分的数据，如公安、气象、工商、税务等，杂乱无章的交通数据无法与其他数据进行共享和交换。
5、(3)数据应用精准化程度不足：互联网+浪潮的推动，使得不同交通用户群体产生了特色、个性化需求
技术实现思路
1、有鉴于此，本专利技术实施例的目的是提供一种交通数据分级分类处理方法、系统、装置及存储介质，涵盖了更全面的交通数据，提高了纵横向共享集约度和数据的精准化。
2、第一方面，本专利技术实施例提供了一种交通数据分级分类处理方法，包括：
3、通过不同采集方式采集若干种不同类型的待分类数据；其中，采集方式包括文件采集、数据库采集、应用程序编程接口采集或套接字采集；待分类数据的来源包括交通运输业务系统、交通运输管理部门内部系统或第三方；待分类数据包括结构化数据、半结构化数据或非结构化数据；
4、根据待分类数据的结构类型进行对待分类数据进行预处理；
5、根据数据来源和结构类型对预处理后的待分类数据进行分类，并分别以数据表或字段的形式存储到主题库中的不同域组下；域组包括监管域组、建设域组、运行域组、管理域组、安全域组、执法域组、服务域组或经营域组；
6、根据分类后的数据生成衍生数据表，对衍生数据表进行逐级分类，形成若干个层级，并对层级之间对应类别中的数据进行关联，得到分级分类结果，并将分级分类结果进行储存；层级由上至下依次包括主题域组、主题域、主题、对象、对象属性或对象属性字段；
7、获取终端的调用请求，根据调用请求将对应的分级分类结果发送给终端。
8、可选地，通过不同采集方式采集若干种不同类型的待分类数据；其中，采集方式包括文件采集、数据库采集、应用程序编程接口采集或套接字采集；待分类数据包括结构化数据、半结构化数据或非结构化数据，具体包括：
9、通过文件采集的方式采集非结构化数据；
10、通过数据库采集的方式采集结构化数据；
11、通过应用程序编程接口的方式采集预设类型的结构化数据，预设类型的结构化数据包括第三方共享的标准化数据；
12、通过套接字采集的方式采集结构化数据、半结构化数据或非结构化数据。
13、可选地，结构化数据包括结构化批数据或结构化流数据，根据待分类数据的结构类型进行对待分类数据进行预处理，具体包括：
14、将结构化批数据传输至前置库中进行提取-转换-加载转换，将转换后的结构化批数据传输至融合数仓中；
15、将结构化流数据通过实时计算引擎传输至融合数仓中；
16、对转换后的结构化批数据和结构化流数据进行标准化处理，并将标准化的结构化数据传输至融合数仓中的主题库中；
17、对标准化的结构化数据进行清洗；清洗包括整合、去重、转码或标记；
18、将半结构化数据或非结构化数据传输至主题库中。
19、可选地，根据数据来源和结构类型对预处理后的待分类数据进行分类，并分别以数据表或字段的形式存储到主题库中的不同域组下，具体包括：
20、将预处理后的结构化数据、预处理后的半结构化数据或预处理后的非结构化数据按与数据来源对应的预设路径传输至对应的域组下；其中，
21、结构化数据中还包括第三方共享的标准化数据，第三方共享的标准化数据通过应用程序编程接口重定向的方式进行传输；
22、半结构化数据中包括消息类数据，消息类数据通过消息总线的方式进行传输；
23、非结构化数据中包括视频数据，视频数据通过视频流的方式进行传输。
24、可选地，根据分类后的数据生成衍生数据表，对衍生数据表进行逐级分类，形成若干个层级，并对层级之间对应类别中的数据进行关联，得到分级分类结果，并将分级分类结果进行储存；层级由上至下依次包括主题域组、主题域、主题、对象、对象属性或对象属性字段，具体包括：
25、从主题域组开始，由上至下依次对同一层级中的数据表或衍生数据表进行数据抽象，得到下一层级的衍生数据表，并将具备共同特征的下一层级的衍生数据表分到下一层级的同一类别中；
26、将本层级中的数据表或衍生数据表，与下一层级中对应类别中的衍生数据表进行关联，直至完成对象属性字段中的分类，得到分级分类结果，并将分级分类结果进行储存；
27、其中，
28、对主题域组中的数据表进行数据抽象得到主题域的衍生数据表；将主题域组中的数据表与主题域中的衍生数据表进行关联；
29、对对象属性中的衍生数据表进行数据抽象得到对象属性字段的字段；将对象属性中的衍生数据表与对象属性字段的字段进行关联。
30、可选地，根据调用请求将对应的分级分类结果发送给终端，具体包括：
31、根据调用请求确定调用数据的层级和类别；
32、根据调用数据的层级和类别确定调用数据，并对调用数据进行汇总，得到调用请求的分级分类结果；
33、通过服务的方式将与调用请求的分级分类结果发送给终端。
34、第二方面，本专利技术实施例还提供了一种交通数据分级分类处理系统，包括：
35、第一模块，通过不同采集方式采集若干种不同类型的待分类数据；其中，采集方式包括文件采集、数据库采集、应用程序编程接口采集或套接字采集；待分类数据的来源包括交通运输业务系统、交通运输管理部门内部系统或第三方；待分类数据包括结构化数据、半结构化数据或非结构化数据；
36、第二模块，用于根据待分类数据的结构类型进行对待分类数据进行预处理；
【技术保护点】
1.一种交通数据分级分类处理方法，其特征在于，包括：
2.根据权利要求1所述的交通数据分级分类处理方法，其特征在于，所述通过不同采集方式采集若干种不同类型的待分类数据；其中，所述采集方式包括文件采集、数据库采集、应用程序编程接口采集或套接字采集；所述待分类数据包括结构化数据、半结构化数据或非结构化数据，具体包括：
3.根据权利要求1所述的交通数据分级分类处理方法，其特征在于，所述结构化数据包括结构化批数据或结构化流数据，所述根据所述待分类数据的结构类型进行对所述待分类数据进行预处理，具体包括：
4.根据权利要求1所述的交通数据分级分类处理方法，其特征在于，所述根据数据来源和所述结构类型对预处理后的待分类数据进行分类，并分别以数据表或字段的形式存储到所述主题库中的不同域组下，具体包括：
5.根据权利要求1所述的交通数据分级分类处理方法，其特征在于，所述根据分类后的数据生成衍生数据表，对所述衍生数据表进行逐级分类，形成若干个层级，并对所述层级之间对应类别中的数据进行关联，得到分级分类结果，并将所述分级分类结果进行储存；所述层级由上至下依
6.根据权利要求1所述的交通数据分级分类处理方法，其特征在于，所述根据所述调用请求将对应的分级分类结果发送给所述终端，具体包括：
7.一种交通数据分级分类处理系统，其特征在于，包括：
8.一种交通数据分级分类处理装置，其特征在于，包括：
9.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-6任一项所述的方法。
10.一种交通数据分级分类处理系统，其特征在于，包括数据采集设备、显示设备以及与所述数据采集设备连接的计算机设备；其中，
...【技术特征摘要】
1.一种交通数据分级分类处理方法，其特征在于，包括：
2.根据权利要求1所述的交通数据分级分类处理方法，其特征在于，所述通过不同采集方式采集若干种不同类型的待分类数据；其中，所述采集方式包括文件采集、数据库采集、应用程序编程接口采集或套接字采集；所述待分类数据包括结构化数据、半结构化数据或非结构化数据，具体包括：
3.根据权利要求1所述的交通数据分级分类处理方法，其特征在于，所述结构化数据包括结构化批数据或结构化流数据，所述根据所述待分类数据的结构类型进行对所述待分类数据进行预处理，具体包括：
4.根据权利要求1所述的交通数据分级分类处理方法，其特征在于，所述根据数据来源和所述结构类型对预处理后的待分类数据进行分类，并分别以数据表或字段的形式存储到所述主题库中的不同域组下，具体包括：
5.根据权利要求1所述的交通数据分级分类处理方法，其特征在于，所述根据分类后...
【专利技术属性】
技术研发人员：杜运涛，章文志，廖莹，冷罕红，李钰，
申请(专利权)人：北明软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。