车辆多源异构数据的接入和处理方法、模块及系统技术方案

本发明专利技术公开了一种车辆多源异构数据的接入和处理方法、模块及系统。本发明专利技术的接入方法包括：当有车端、路侧端或第三方平台发送数据接入请求时，判断数据接入请求所采用的协议；调用所采用的协议对应的协议处理器读取当前协议数据；将接收的协议数据进行反序列化；将反序列化的消息投递到disruptor消息队列；批量将disuptor队列中的数据放入kafka集群的kafka消息队列，实现数据接入。本发明专利技术可以以实现多源异构数据的接入和处理，满足各类汽车、交通基础数据的融汇管理。交通基础数据的融汇管理。交通基础数据的融汇管理。

【技术实现步骤摘要】
车辆多源异构数据的接入和处理方法、模块及系统


[0001]本专利技术涉及数据接入和处理技术，尤其涉及一种车车辆多源异构数据的接入和处理方法、模块及系统。

技术介绍

[0002]随着智能网联汽车产业的发展，云控平台的支撑优势和效果将愈发显著，其发展主要为满足行业、技术、示范应用以及标准法规建设等方面的产业需求。
[0003]在标准层面上，现有数据标准难以满足平台采集和处理加工的需求。目前，车辆动态数据、车路协同数据、道路基础设施数据和交通管理数据有限，难以满足汽车大数据云控基础平台对车辆自动驾驶辅助的需求。而且目前缺乏对终端数据、各级平台数据的接入与融合做引导或强制性标准要求，导致数据异构，因而云控平台的基础数据获取难度较大。
[0004]现有整车企业平台是企业根据各自需求而建设的，缺乏统一标准和信息交互设计，导致很多不同品牌网联车、不同路侧品牌、以及各运营第三方平台的各协议、数据规格均不一样，成为智能网联汽车发展的障碍，不利于标准互联互通和行业管理。为了实现车与车之间、车与路之间、路与路之间、云与云之间、车与云之间、路与云之间不同品牌车互通互认，需解决中心云的多源异构数据接入、处理问题。

技术实现思路

[0005]专利技术目的：本专利技术针对现有技术存在的问题，提供一种车辆多源异构数据的接入和处理方法、模块及系统。
[0006]技术方案：本专利技术所述的车辆多源异构数据接入方法包括：
[0007]当有车端、路侧端或第三方平台发送数据接入请求时，判断数据接入请求所采用的协议；
[0008]调用所采用的协议对应的协议处理器读取当前协议数据；
[0009]将接收的协议数据进行反序列化；
[0010]将反序列化的消息投递到disruptor消息队列；
[0011]批量将disuptor队列中的数据放入kafka集群的kafka消息队列，实现数据接入。
[0012]进一步的，通过开放的socket接口实现数据接入请求的监听。
[0013]进一步的，所述将接收的协议数据进行反序列化，具体包括：
[0014]读取接收的协议数据的数据体，通过解析得到数据体的数据格式、数据主题；
[0015]将解析得到的数据格式、数据主题和数据体合并，重新封装成一个消息，实现反序列化。
[0016]进一步的，该方法还包括：若由kafka集群向disruptor消息队列返回了消息，则将disruptor消息队列的消息序列化后，通过对应的协议处理器向数据接入请求方返回数据
[0017]进一步的，所述将disruptor消息队列的消息序列化，具体包括：
[0018]解析disruptor消息队列的消息，得到消息中包含的数据格式、数据主题和数据
体；
[0019]将数据体按照对应协议形成协议数据。
[0020]本专利技术所述的车辆多源异构数据处理方法，是对于按照上述方法接入的数据进行数据处理，该方法具体包括：
[0021]接收kafka集群的kafka消息队列发送的消息；
[0022]解析接收到的消息，得到消息中包含的数据体以及数据体的数据格式、数据主题；
[0023]根据解析得到的数据格式，调用对应的数据格式解析器对数据体进行解析，得到统一格式的数据内容；
[0024]将数据内容按照对应数据主题的字段转换配置对应关系，重新封装成统一预设数据结构的数据；
[0025]将统一预设数据结构的数据投递到disruptor消息队列。
[0026]本专利技术所述的车辆多源异构数据接入模块包括：
[0027]协议判断单元，用于当有车端、路侧端或第三方平台发送数据接入请求时，判断数据接入请求所采用的协议；
[0028]协议数据读取单元，用于调用所采用的协议对应的协议处理器读取当前协议数据；
[0029]反序列化单元，用于将接收的协议数据进行反序列化；
[0030]disruptor消息队列，用于暂存反序列化的消息；
[0031]批量队列消息投递单元，用于批量将disuptor队列中的数据放入kafka集群的kafka消息队列；
[0032]以及kafka集群。
[0033]进一步的，所述接入模块还包括：
[0034]序列化单元，用于在kafka集群向disruptor消息队列返回了消息时，将disruptor消息队列的消息序列化，使得序列化后的通过对应的协议处理器向数据接入请求方返回数据。
[0035]本专利技术所述的车辆多源异构数据处理模块包括：
[0036]数据解析单元，用于解析接收到的消息，得到消息中包含的数据体以及数据体的数据格式、数据主题；
[0037]数据格式解析单元，用于根据解析得到的数据格式，调用对应的数据格式解析器对数据体进行解析，得到统一格式的数据内容；
[0038]数据封装单元，用于将数据内容按照对应数据主题的字段转换配置对应关系，重新封装成统一预设数据结构的数据；
[0039]disruptor消息队列，用于暂存统一预设数据结构的数据。
[0040]本专利技术所述的车辆多源异构数据的中心云处理系统包括：
[0041]上述车辆多源异构数据接入模块；
[0042]上述车辆多源异构数据处理模块；以及
[0043]数据存储模块，包括存储实时数据的memcache和redis数据库，和存储历史数据的ClickHouse数据库。
[0044]有益效果：本专利技术与现有技术相比，其显著优点是：本专利技术可以实现多源异构数据
的接入和处理，满足各类汽车、交通基础数据的融汇管理，统一了数据服务标准，实现大范围的数据接入，提升数据利用率，降低互操作成本，连通信息孤岛，解闱了不同车路云之间的标准化通信协议与高效数据共享接口。
附图说明
[0045]图1是本专利技术实施例一提供的车辆多源异构数据接入方法的流程示意图；
[0046]图2是本专利技术实施例一提供的车辆多源异构数据接入方法的框架示意图；
[0047]图3是本专利技术实施例二提供的车辆多源异构数据处理方法的流程示意图；
[0048]图4是本专利技术实施例二提供的车辆多源异构数据处理方法的框架示意图；
[0049]图5是本专利技术实施例五提供的车辆多源异构数据中心云处理系统的框架示意图。
具体实施方式
[0050]实施例一
[0051]多源异构动态数据，包括车端、路侧端、平台端数据，其中车端数据包含车辆运行数据，车辆动力数据，车辆燃油数据，车辆预警等数据，路侧数据包括路侧设备的融合感知数据、激光雷达数据、道路交通参与者数据等，第三方平台数据包括车厂、车辆示范区、气象局、交管局等数据，在这样多数据接入情况下，很容易造成数据接收不及时，消息积压，甚至消息丢失，对于使用消费数据端造成一系列的错误，因此所以需要解决消息实时、可靠的接入。针对此问题，本实施例提供了一种车辆多源异构数据接入方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆多源异构数据接入方法，其特征在于该方法包括：当有车端、路侧端或第三方平台发送数据接入请求时，判断数据接入请求所采用的协议；调用所采用的协议对应的协议处理器读取当前协议数据；将接收的协议数据进行反序列化；将反序列化的消息投递到disruptor消息队列；批量将disuptor队列中的数据放入kafka集群的kafka消息队列，实现数据接入。2.根据权利要求1所述的车辆多源异构数据接入方法，其特征在于：通过开放的socket接口实现数据接入请求的监听。3.根据权利要求1所述的车辆多源异构数据接入方法，其特征在于：所述将接收的协议数据进行反序列化，具体包括：读取接收的协议数据的数据体，通过解析得到数据体的数据格式、数据主题；将解析得到的数据格式、数据主题和数据体合并，重新封装成一个消息，实现反序列化。4.根据权利要求1所述的车辆多源异构数据接入方法，其特征在于：该方法还包括：若由kafka集群向disruptor消息队列返回了消息，则将disruptor消息队列的消息序列化后，通过对应的协议处理器向数据接入请求方返回数据。5.根据权利要求4所述的车辆多源异构数据接入方法，其特征在于：所述将disruptor消息队列的消息序列化，具体包括：解析disruptor消息队列的消息，得到消息中包含的数据格式、数据主题和数据体；将数据体按照对应协议形成协议数据。6.一种车辆多源异构数据处理方法，其特征在于，该方法对于按照权1
‑
5中任意一项方法接入的数据进行数据处理，该方法具体包括：接收kafka集群的kafka消息队列发送的消息；解析接收到的消息，得到消息中包含的数据体以及数据体的数据格式、数据主题；根据解析得到的数据格式，调用对应的数据格式解析器对数据体进行解析，得到统一格式的数据内容...

【专利技术属性】
技术研发人员：张俊伟，李大臣，褚文博，钟薇，陈雪，
申请(专利权)人：国汽北京智能网联汽车研究院有限公司，
类型：发明
国别省市：