一种基于本体库的交通大数据语义应用服务方法技术

本发明专利技术的技术方案是提供了一种基于本体库的交通大数据语义应用服务方法，其特征在于，包括：第一步、架构基于本体库的交通大数据平台，该交通大数据平台包括交通数据本体层、交通网模型，数据ETL层、大数据集群层、数据访问服务层、应用服务逻辑层、大数据存储层、语义访问接口层模块的逻辑设计；第二步、基于语义逻辑进行数据访问。本发明专利技术所述基于交通本体的交通大数据语义应用服务架构方法，旨在解决多源异构数据在HADOOP/关系数据库集成环境下的本体化组织与智能服务，尤其是支持未来大数据开放服务环境下人们通过语音、文字调取精确数据资源及相应服务的关键技术问题。

【技术实现步骤摘要】

本专利技术涉及，针对多源异构城市交通数据的关联组织、集成管理及智能化服务难题，提出基于交通数据本体的大数据语义服务架构设计与服务流程，支撑社会公众能够通过语音指令、自然语言中的关键词获得数据查询、服务及产品，属于智能交通领域。
技术介绍
城市交通信息化建设经过多年的发展，积累了大量的数据资源，并且这些数据资源分散在各个行业部门、平台系统中，为信息化服务发挥了巨大作用。但随着数据规模的快速增长，尤其是大数据应用的开放需求，对当前数据存储与应用模式带来新的挑战。从目前的数据应用过程来看，交通信息化系统中数据的组织与管理主要存在以下问题:(I)数据存储孤立:通过各种检测设备采集的交通数据分别存储在独立的数据表中，数据结构也不相同，不同时期工程建设采集的数据并没有进行统一整合，使得编码格式、数据格式异常繁杂，造成查询数据效率低下，多源关联与深度应用极度困难。(2)数据与来源分离:通过关系表的存储模式，使得数据与来源分离，通过数据本身并不清楚与设备的关系及所在路网的位置，其结果使得算法应用与关联分析工作需要开展多次配置，造成重复劳动。(3)数据存储未标准化:同类数据在不同部门或平台存储的格式并不统一，在进行数据网络化传输过程中存在不一致情况，使得在线使用异地数据非常困难，难于支持未来大规模多源异构数据的网络化应用。基于大数据技术解决城市智能交通信息孤岛、多源异构海量数据一致化组织与一体化管理已经被认为是解决以上问题的一种有效解决方案，通过HADOOP与关系数据库组合的大数据集群与存储方案，能够为结构化、半结构化和非结构化的多源异构交通数据带来全新的管理解决方案。同时，语义网技术可以将多元异构数据进行标准化、统一化处理，实现智能化语义搜索，为人工数据查询及系统工作应用提供快速准确的数据检索服务。其中，本体技术可以将不同来源的交通数据通过建模、范式、语言和软件工具进行翻译和映射，以实现数据在不同系统之间的互操作和继承。
技术实现思路
本专利技术的目的是基于大数据、语义网等先进技术，提出一种基于本体库的交通大数据平台架构方法，优化普通公众用户获取数据的方法和服务流程，为交通领域数据开放发展提供关键技术支撑。为了达到上述目的，本专利技术的技术方案是提供了，其特征在于，包括:第一步、架构基于本体库的交通大数据平台，该交通大数据平台包括交通数据本体层、交通网模型，数据ETL层、大数据集群层、数据访问服务层、应用服务逻辑层、大数据存储层、语义访问接口层模块的逻辑设计，其中:数据ETL层用于:数据抽取、转换和加载层，为外部平台多源异构数据提供字段拆解、过滤和重构；经由数据ETL层抽取的外源数据，将分解成集中存储的大数据文件和交通数据本体，分别落实到交通数据本体层和大数据存储层；交通数据本体层:由本体库、交通网模型共同支持交通数据本体层，接收数据ETL层重构得到的数据本体对象及关系，接入道路网络拓扑关系模型，二者经过映射文件整合，分解数据资源与数据关系加载到该层；大数据集群层:用于完成交通数据本体的存储与管理，并提供大数据文件存储及本体关联管理；数据访问服务层:用于完成对数据访问的调度与工具接口，接收来自应用服务逻辑层的任务，并根据指令发布给大数据集群，提取本体对象及大数据文件地址，最终执行数据读取；应用服务逻辑层:根据语义访问接口层发出的自然语言指令，按照本体数据组织规则，执行分解、关联、整合、创建语言指令到本体对象的逻辑任务，向数据访问管理层发出数据调用动作，实现语言到数据的链接，驱动交通数据本体层与大数据存储层；根据大数据集群完成的处理任务，执行分解、关联、整合、创建数据分析结果到语义指令的逻辑任务，向语义访问接口层发出语义处理动作，实现数据对象到自然语言的链接；语义访问接口层:人机交互接口，接收人发出的文字、语音指令，并把指令经过应用服务逻辑的分解生成数据访问任务；接收数据查询与分析的语义结果，并翻译成人们可接受的自然语言表达；大数据存储层:接收数据ETL层发送的数据体，经过转换后的多源异构数据，将统一加载到大数据文件、表存储层，所有带有时间过程的数据记录，都保存到存储层，通过键-值对形式，与交通数据本体层保持一对一互联，接受数据访问接口层调用；第二步、基于语义逻辑进行数据访问，其中，交通大数据搜索主要包括对交通大数据的存储和语义搜索结果的二次搜索；交通应用主要是根据交通相关算法对大数据的搜索结果进行数据处理，包括以下步骤:步骤2.1、通过语义访问接口层发出应用请求，将用户选择的应用模块和查询约束条件传递给应用服务逻辑层；步骤2.2、应用服务逻辑层发出服务请求，利用内嵌的分析任务模块匹配和初始化分析或查询任务，选择对应的算法调用流程；步骤2.3、应用服务逻辑层向数据访问服务层发出调用请求，将算法流程和查询参数传给数据访问服务层中的任务调度模块；步骤2.4、数据访问服务层输出数据查询请求，根据查询任务将查询约束条件传递给大数据集群层；步骤2.5、大数据集群层输出解析模型:将匹配后的解析模型传递给生成查询计划模块，查询计划模块向交通数据本体层发出数据调用请求；步骤2.6、交通数据本体层输出查询任务，通过本体匹配与比对，交通数据本体层将计划任务的数据查询地址输出给大数据集群层；步骤2.7、大数据集群层向HBase数据库发出调用请求，从HBase中调用RDF数据，即对应的数据表地址，并完成数据地址匹配和验证；步骤2.8、由大数据集群层返回调用请求给数据访问接口，输出查询指令；步骤2.9、大数据集群层返回查询数据表信息，将和查询任务有关的有效的数据表地址信息返回给任务调度模块。步骤2.10、大数据集群层返回查询数据表信息，将需要的参数传输给数据表文件和分析任务，通过数据读取引擎抽取数据；步骤2.11、由数据访问服务层返回查询数据结果，返回查询的数据本体及值数据结果；步骤2.12、数据访问服务层输出调用指令，根据算法设计流程按照顺序调用数据计算模块，并交由大数据集群完成计算；步骤2.13、大数据集群层输出结果，返回过程计算量和总的计算结果给数据访问管理层；步骤2.14、数据访问服务层返回请求结果，返回最终结果数据结构给应用服务逻辑层，完成语义化回滚；步骤2.15、应用服务逻辑层返回服务结果，将经过语义回滚的数据包返回给语义访问接口层；步骤2.16、语义访问接口层结果表达，通过为数据结果建立语义关系当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种基于本体库的交通大数据语义应用服务方法，其特征在于，包括：第一步、架构基于本体库的交通大数据平台，该交通大数据平台包括交通数据本体层、交通网模型，数据ETL层、大数据集群层、数据访问服务层、应用服务逻辑层、大数据存储层、语义访问接口层模块的逻辑设计，其中：数据ETL层用于：数据抽取、转换和加载层，为外部平台多源异构数据提供字段拆解、过滤和重构；经由数据ETL层抽取的外源数据，将分解成集中存储的大数据文件和交通数据本体，分别落实到交通数据本体层和大数据存储层；交通数据本体层：由本体库、交通网模型共同支持交通数据本体层，接收数据ETL层重构得到的数据本体对象及关系，接入道路网络拓扑关系模型，二者经过映射文件整合，分解数据资源与数据关系加载到该层；大数据集群层：用于完成交通数据本体的存储与管理，并提供大数据文件存储及本体关联管理；数据访问服务层：用于完成对数据访问的调度与工具接口，接收来自应用服务逻辑层的任务，并根据指令发布给大数据集群，提取本体对象及大数据文件地址，最终执行数据读取；应用服务逻辑层：根据语义访问接口层发出的自然语言指令，按照本体数据组织规则，执行分解、关联、整合、创建语言指令到本体对象的逻辑任务，向数据访问管理层发出数据调用动作，实现语言到数据的链接，驱动交通数据本体层与大数据存储层；根据大数据集群完成的处理任务，执行分解、关联、整合、创建数据分析结果到语义指令的逻辑任务，向语义访问接口层发出语义处理动作，实现数据对象到自然语言的链接；语义访问接口层：人机交互接口，接收人发出的文字、语音指令，并把指令经过应用服务逻辑的分解生成数据访问任务；接收数据查询与分析的语义结果，并翻译成人们可接受的自然语言表达；大数据存储层：接收数据ETL层发送的数据体，经过转换后的多源异构数据，将统一加载到大数据文件、表存储层，所有带有时间过程的数据记录，都保存到存储层，通过键‑值对形式，与交通数据本体层保持一对一互联，接受数据访问接口层调用；第二步、基于语义逻辑进行数据访问，其中，交通大数据搜索主要包括对交通大数据的存储和语义搜索结果的二次搜索；交通应用主要是根据交通相关算法对大数据的搜索结果进行数据处理，包括以下步骤：步骤2.1、通过语义访问接口层发出应用请求，将用户选择的应用模块和查询约束条件传递给应用服务逻辑层；步骤2.2、应用服务逻辑层发出服务请求，利用内嵌的分析任务模块匹配和初始化分析或查询任务，选择对应的算法调用流程；步骤2.3、应用服务逻辑层向数据访问服务层发出调用请求，将算法流程和查询参数传给数据访问服务层中的任务调度模块；步骤2.4、数据访问服务层输出数据查询请求，根据查询任务将查询约束条件传递给大数据集群层；步骤2.5、大数据集群层输出解析模型：将匹配后的解析模型传递给生成查询计划模块，查询计划模块向交通数据本体层发出数据调用请求；步骤2.6、交通数据本体层输出查询任务，通过本体匹配与比对，交通数据本体层将计划任务的数据查询地址输出给大数据集群层；步骤2.7、大数据集群层向HBase数据库发出调用请求，从HBase中调用RDF数据，即对应的数据表地址，并完成数据地址匹配和验证；步骤2.8、由大数据集群层返回调用请求给数据访问接口，输出查询指令；步骤2.9、大数据集群层返回查询数据表信息，将和查询任务有关的有效的数据表地址信息返回给任务调度模块。步骤2.10、大数据集群层返回查询数据表信息，将需要的参数传输给数据表文件和分析任务，通过数据读取引擎抽取数据；步骤2.11、由数据访问服务层返回查询数据结果，返回查询的数据本体及值数据结果；步骤2.12、数据访问服务层输出调用指令，根据算法设计流程按照顺序调用数据计算模块，并交由大数据集群完成计算；步骤2.13、大数据集群层输出结果，返回过程计算量和总的计算结果给数据访问管理层；步骤2.14、数据访问服务层返回请求结果，返回最终结果数据结构给应用服务逻辑层，完成语义化回滚；步骤2.15、应用服务逻辑层返回服务结果，将经过语义回滚的数据包返回给语义访问接口层；步骤2.16、语义访问接口层结果表达，通过为数据结果建立语义关系完成自然语言创建，并通过调用可视化接口完成数据结果再GIS地图或列表清单中的可视化。...

【技术特征摘要】

【专利技术属性】
技术研发人员：平麒麟，虞鸿，吴超腾，高霄，钟锐，蒋庆焱，
申请(专利权)人：上海电科智能系统股份有限公司，
类型：发明
国别省市：上海;31