本发明专利技术提供一种车端CAN数据去重方法、装置、电子设备及介质，基于CAN数据中CAN地址信息和时间戳，进行CAN数据与键值对的实时比对，当CAN数据中的CAN地址信息与键值对中的CAN地址信息相同时，若CAN数据中的时间戳与作为比对基准的键值对中的时间戳相同，则判定该CAN数据为重复数据，舍弃该CAN数据，当CAN数据中的CAN地址信息与判断基准中对应信息相同而CAN数据中的时间戳与判断基准中对应信息不同时，则能判定该CAN数据为非重复数据，根据该CAN数据更新键值对并将CAN数据写入分布式文件存储系统中，能有效判定当前CAN数据是否为重复数据，这有助于重复的CAN数据的去除，避免了数据冗余，节省了存储空间，并提高了后续CAN数据的处理效率。数据的处理效率。数据的处理效率。
【技术实现步骤摘要】
车端CAN数据去重方法、装置、电子设备及介质
[0001]本申请涉及数据处理
，具体涉及一种车端CAN数据去重方法、装置、电子设备及介质。
技术介绍
[0002]车联网是万物互联背景下的新
，其结合了车端CAN总线和互联网，实现了车、人、路三者之间的连接，为智能化提供了支持。其中，车端CAN数据包含了大量的车载传感器和控制器所采集的数据，这些数据对于实现车辆的智能网联化有重要意义。且现有技术可以将CAN数据实时上传到云服务器后存储起来，便于数据的追踪与调用，但是实际情况下，CAN数据上传时存在多次发送相同数据的情况，这造成了数据冗余，增加了无谓的存储占用。
[0003]因此，目前亟需一种简单高效的车端CAN数据去重技术方案。
技术实现思路
[0004]鉴于以上所述现有技术的缺点，本专利技术提供一种车端CAN数据去重方案，以对重复上传的车端CAN数据进行去除，避免数据冗余，节省存储空间。
[0005]为实现上述目的及其他相关目的，本专利技术提供的技术方案如下。
[0006]一种车端CAN数据去重方法，至少包括步骤：
[0007]获取多个车端的CAN数据，所述CAN数据包括CAN地址信息和时间戳；
[0008]对所述CAN数据进行分桶处理，得到多个相互独立的CAN数据桶；
[0009]在每个所述CAN数据桶中，根据所述CAN数据中的CAN地址信息和时间戳建立并维持键值对；
[0010]在每个所述CAN数据桶中，将每条所述CAN数据与所述键值对进行对比，当所述CAN数据中的CAN地址信息与所述键值对中的CAN地址信息相同时，若所述CAN数据中的时间戳与所述键值对中的时间戳相同，则所述CAN数据为重复数据，舍弃所述CAN数据。
[0011]可选地，所述获取多个车端的CAN数据的步骤包括：
[0012]针对每个所述车端，按照时间先后顺序依次获取所述车端上传感器和控制器的CAN报文；
[0013]针对每个所述车端，对所述CAN报文进行解析，得到所述CAN数据，并将解析得到的所述CAN数据写入消息中间件中。
[0014]可选地，所述按照时间先后顺序依次获取所述车端上传感器和控制器的CAN报文的步骤包括：
[0015]所述CAN报文通过所述车端上的车载智联终端按照时间先后顺序依次上传到服务器中，且部分所述CAN报文被多次重复上传。
[0016]可选地，所述对所述CAN报文进行解析的步骤包括：
[0017]所述服务器接收到所述CAN报文后，通过实时计算框架对所述CAN报文进行解析。
[0018]可选地，所述CAN数据还包括所述车端的VIN码，所述对所述CAN数据进行分桶处理的步骤包括：
[0019]以所述车端的VIN码为键，对所述CAN数据进行分桶处理，将VIN码相同的各个所述CAN数据划分为一个所述CAN数据桶，得到多个相互独立的所述CAN数据桶。
[0020]可选地，所述根据所述CAN数据中的CAN地址信息和时间戳建立并维持键值对的步骤包括：
[0021]以所述CAN数据中的CAN地址信息为键，以所述CAN数据中的时间戳为值，建立并维持键值对。
[0022]可选地，所述将每条所述CAN数据与所述键值对进行对比的步骤包括：
[0023]将每条所述CAN数据与所述键值对进行对比，当所述CAN数据中的CAN地址信息与所述键值对中的键相同时，若所述CAN数据中的时间戳与所述键值对中的值相同，则所述CAN数据为重复数据，舍弃所述CAN数据；
[0024]将每条所述CAN数据与所述键值对进行对比，当所述CAN数据中的CAN地址信息与所述键值对中的键相同时，若所述CAN数据中的时间戳与所述键值对中的值不同，则所述CAN数据为非重复数据，根据所述CAN数据更新所述键值对并将所述CAN数据写入分布式文件存储系统中。
[0025]一种车端CAN数据去重装置，所述装置包括：
[0026]数据采集模块，用于获取多个车端的CAN数据，所述CAN数据包括CAN地址信息和时间戳；
[0027]第一处理模块，用于对所述CAN数据进行分桶处理，得到多个相互独立的CAN数据桶；
[0028]第二处理模块，根据所述CAN数据中的CAN地址信息和时间戳建立并维持键值对；
[0029]第三处理模块，用于将每条所述CAN数据与所述键值对进行对比，当所述CAN数据中的CAN地址信息与所述键值对中的CAN地址信息相同时，若所述CAN数据中的时间戳与所述键值对中的时间戳相同，则所述CAN数据为重复数据，舍弃所述CAN数据。
[0030]一种电子设备，包括：
[0031]一个或多个处理器；
[0032]存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述任一项所述的车端CAN数据去重方法。
[0033]一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述任一项所述的车端CAN数据去重方法。
[0034]本专利技术的有益效果：基于CAN数据中CAN地址信息和时间戳，进行CAN数据与键值对的实时比对，当CAN数据中的CAN地址信息与键值对中的CAN地址信息相同时，若CAN数据中的时间戳与作为比对基准的键值对中的时间戳相同，则判定该CAN数据为重复数据，舍弃该CAN数据，即以CAN数据中CAN地址信息和时间戳为重复判断比较基准，当CAN数据中的CAN地址信息和时间戳分别与判断基准中对应信息相同时，则能判定该CAN数据为重复数据，这有助于重复的CAN数据的去除，避免了数据冗余，节省了存储空间，并提高了后续CAN数据的处理效率。
[0035]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不
能限制本申请。
附图说明
[0036]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0037]图1是本申请一示例性实施例示出的车端CAN数据采集处理的实施环境示意图；
[0038]图2是本申请一示例性实施例示出的车端CAN数据采集处理的流程示意图；
[0039]图3是本申请一示例性实施例示出的车端CAN数据去重方法的步骤示意图；
[0040]图4是本申请一示例性实施例示出的车端CAN数据去重方法的处理流程图；
[0041]图5是本申请一示例性实施例示出的车端CAN数据去重装置的结构示意图；
[0042]图6是本申请一示例性实施例示出的电子设备对应的计算机系统的结构示意图。
具体实施方式
[0043]以下将参照附图和优选实施例来说明本发本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种车端CAN数据去重方法，其特征在于，至少包括步骤：获取多个车端的CAN数据，所述CAN数据包括CAN地址信息和时间戳；对所述CAN数据进行分桶处理，得到多个相互独立的CAN数据桶；在每个所述CAN数据桶中，根据所述CAN数据中的CAN地址信息和时间戳建立并维持键值对；在每个所述CAN数据桶中，将每条所述CAN数据与所述键值对进行对比，当所述CAN数据中的CAN地址信息与所述键值对中的CAN地址信息相同时，若所述CAN数据中的时间戳与所述键值对中的时间戳相同，则所述CAN数据为重复数据，舍弃所述CAN数据。2.根据权利要求1所述的车端CAN数据去重方法，其特征在于，所述获取多个车端的CAN数据的步骤包括：针对每个所述车端，按照时间先后顺序依次获取所述车端上传感器和控制器的CAN报文；针对每个所述车端，对所述CAN报文进行解析，得到所述CAN数据，并将解析得到的所述CAN数据写入消息中间件中。3.根据权利要求2所述的车端CAN数据去重方法，其特征在于，所述按照时间先后顺序依次获取所述车端上传感器和控制器的CAN报文的步骤包括：所述CAN报文通过所述车端上的车载智联终端按照时间先后顺序依次上传到服务器中，且部分所述CAN报文被多次重复上传。4.根据权利要求3所述的车端CAN数据去重方法，其特征在于，所述对所述CAN报文进行解析的步骤包括：所述服务器接收到所述CAN报文后，通过实时计算框架对所述CAN报文进行解析。5.根据权利要求4所述的车端CAN数据去重方法，其特征在于，所述CAN数据还包括所述车端的VIN码，所述对所述CAN数据进行分桶处理的步骤包括：以所述车端的VIN码为键，对所述CAN数据进行分桶处理，将VIN码相同的各个所述CAN数据划分为一个所述CAN数据桶，得到多个相互独立的所述CAN数据桶。6.根据权利要求5所述的车端CAN数据去重方法，其特征在于，所述根据所述CAN数据中的CAN地址信息和时间戳...
【专利技术属性】
技术研发人员：侯树栋，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。