数据处理方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置、电子设备和计算机可读存储介质，方法包括：响应于用户端发送的数据读取请求，从数据仓库的贴源层中获取数据处理程序，并从贴源层的数据存储目录中获取数据存储位置；利用数据处理程序在数据存储位置中进行查找，得到车联网打包数据；通过数据处理程序对车联网打包数据进行解压和解析，得到车联网目标数据；向用户端发送车联网目标数据。在本发明专利技术中，可以从贴源层的数据存储目录中获取数据存储位置进行数据的获取，使得数据仓库的贴源层无需在物理上存储数据，节省了存储空间。然后将查找到的车联网打包数据进行解析，并将解析得到的车联网目标数据发送用户端，节省了存储成本和解析时间。间。间。

【技术实现步骤摘要】
数据处理方法、装置、电子设备和计算机可读存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法、装置、电子设备和计算机可读存储介质。

技术介绍

[0002]车联网数据通常在车端生成二进制的压缩数据包，通过车联网终端上传至云服务端，然后在云服务端经过数据解析、转换、入库等步骤后保存于数据仓库的贴源层(OperationalDataStore，ODS)。因车联网终端上传的车联网数据往往有上千个信号，且数据采集时间间隔较短，因此ODS层往往需要占用大量存储空间，在整个数据仓库中占80％以上。
[0003]相关技术，一方面，将上传的车联网数据和贴源层数据表都全量存储，此方法需要高昂的存储成本；另一方面，将上传的车联网数据全量存储，贴源层数据表仅保存预设时间的内容。但当使用历史的贴源层数据表时，需要重新运行解析程序对车联网数据进行解析，同时读取的解析程序也需要进行对应修改，造成了时间的浪费。

技术实现思路

[0004]本专利技术提供一种数据处理方法、装置、电子设备和存储介质，节约了数据存储成本，减少了数据存储空间。
[0005]第一方面，本专利技术提供的数据处理方法，所述方法包括：
[0006]响应于用户端发送的数据读取请求，从数据仓库的贴源层中获取数据处理程序，并从所述贴源层的数据存储目录中获取数据存储位置；
[0007]利用所述数据处理程序在所述数据存储位置中进行查找，得到车联网打包数据；
[0008]通过所述数据处理程序对所述车联网打包数据进行解压和解析，得到车联网目标数据；
[0009]向所述用户端发送所述车联网目标数据。
[0010]第二方面，本专利技术提供的数据处理装置，所述装置包括：
[0011]获取模块，用于响应于用户端发送的数据读取请求，从数据仓库的贴源层中获取数据处理程序，并从所述贴源层的数据存储目录中获取数据存储位置；
[0012]查找模块，用于利用所述数据处理程序在所述数据存储位置中进行查找，得到车联网打包数据；
[0013]解压和解析模块，用于通过所述数据处理程序对所述车联网打包数据进行解压和解析，得到车联网目标数据；
[0014]发送模块，用于向所述用户端发送所述车联网目标数据。
[0015]第三方面，本专利技术提供的电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术任一实施例所述的数据处理方法。
[0016]第四方面，本专利技术提供的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任一实施例所述的数据处理方法。
[0017]本专利技术的方案，可以响应于用户端发送的数据读取请求，从数据仓库的贴源层中获取数据处理程序，并从所述贴源层的数据存储目录中获取数据存储位置；利用所述数据处理程序在所述数据存储位置中进行查找，得到车联网打包数据；通过所述数据处理程序对所述车联网打包数据进行解压和解析，得到车联网目标数据；向所述用户端发送所述车联网目标数据。在本专利技术中，当接收到用户端发送的数据读取请求时，可以从贴源层的数据存储目录中获取数据存储位置进行数据的获取，使得数据仓库的贴源层无需在物理上存储数据，节省了存储空间。且当查到到车联网打包数据后，将其进行解析，并将解析得到的车联网目标数据发送用户端，避免了修改原始数据包的解析程序并将其重新运行，节省了存储成本和解析时间。
附图说明
[0018]为了更清楚地说明本专利技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0019]图1是本专利技术实施例提供的一种数据处理方法的流程示意图一；
[0020]图2是本专利技术实施例提供的一种数据处理方法的流程示意图二；
[0021]图3是本专利技术实施例提供的一种数据处理装置的结构示意图；
[0022]图4是本专利技术提供的电子设备的一个结构示意图。
具体实施方式
[0023]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0024]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术能够除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0025]在本专利技术中，技术方案可以应用于数据的存储中，例如：数据仓库的贴源层数据存储。在后续的描述中，将结合数据仓库的贴源层数据存储场景为例对本专利技术的技术方案进行描述，但需要说明的是，本专利技术的技术方案不仅仅可以应用于据仓库的贴源层数据存储，此处不做限制。
[0026]如图1所示，图1是本专利技术实施例提供的一种数据处理方法的流程示意图一，本发
明实施例提供的数据处理方法可以由本专利技术实施例提供的数据处理装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在电子设备中，电子设备可以是计算机、服务器等。参考图1，本实施例的数据处理方法具体可以包括如下步骤：
[0027]S101、响应于用户端发送的数据读取请求，从数据仓库的贴源层中获取数据处理程序，并从贴源层的数据存储目录中获取数据存储位置。
[0028]用户端发送的数据读取请求可以为车联网数据读取请求，车联网(Internetof Vehicles)是由车辆位置、速度和路线等信息构成的巨大交互网络。通过GPS、射频识别、传感器、摄像头图像处理等装置，车辆可以完成自身环境和状态信息的采集；通过互联网技术，所有的车辆可以将自身的各种信息传输汇聚到中央处理器；通过计算机技术，这些大量车辆的信息可以被分析和处理，从而计算出不同车辆的最佳路线、及时汇报路况和安排信号灯周期。车联网数据可以包括车辆数据、路况信息及交通信息等。车联网终端将数据进行采集，并将采集的车联网数据通过预设链路发送到云服务端，云服务端将数据进行存储。当车辆发生故障引起损失，或通过车联网数据生成各种分析报告，以对产品进行生命周期的管理及为以后的新产品的研发提供决策支持时，或从数据中采集到用户的使用习惯，除了给用户提供分析报告以外，也可以及时纠正用户的不良使用习惯，以使延长产品的使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：响应于用户端发送的数据读取请求，从数据仓库的贴源层中获取数据处理程序，并从所述贴源层的数据存储目录中获取数据存储位置；利用所述数据处理程序在所述数据存储位置中进行查找，得到车联网打包数据；通过所述数据处理程序对所述车联网打包数据进行解压和解析，得到车联网目标数据；向所述用户端发送所述车联网目标数据。2.根据权利要求1所述的方法，其特征在于，所述数据读取请求包含车辆识别码和/或数据打包日期；所述利用所述数据处理程序在所述数据存储位置中进行查找，得到车联网打包数据，包括：在所述数据处理程序的获取数据分片方法中得到数据查询语句；在所述数据查询语句中确定是否含有所述车辆识别码和/或所述数据打包日期的查询字段，得到确定结果；基于所述确定结果在所述数据存储位置中进行查找，得到所述车联网打包数据。3.根据权利要求2所述的方法，其特征在于，所述基于所述确定结果在所述数据存储位置中进行查找，得到所述车联网打包数据，包括：若所述确定结果表证所述数据查询语句中含有所述查询字段，则基于所述查询字段在所述数据存储位置中进行查找，得到所述车联网打包数据；若所述确定结果表证所述数据查询语句中不含有所述查询字段，则对所述数据存储位置的数据进行遍历，得到所述车联网打包数据。4.根据权利要求1所述的方法，其特征在于，所述通过所述数据处理程序对所述车联网打包数据进行解压和解析，得到车联网目标数据，包括：利用所述数据处理程序的预设行数据读取类对所述车联网打包数据进行解压和解析，得到车联网目标行数据；利用所述数据处理程序的预设行数据反序列化类和所述车联网目标行数据确定所述车联网目标数据。5.根据权利要求4所述的方法，其特征在于，所述利用数据处理程序的预设行数据读...

【专利技术属性】
技术研发人员：张文军，许超，邵天东，王亮，
申请(专利权)人：一汽南京科技开发有限公司，
类型：发明
国别省市：