一种数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、设备及存储介质。该方法包括：获取待处理流数据；将所述待处理流数据输入消息中间件后，得到第一流数据；于获取到故障诊断指令后，对所述故障诊断指令携带的目标时间窗口内的第一流数据进行排序，得到目标流数据，通过本发明专利技术的技术方案，以实现能够将流式数据处理技术与传统数据库结合，解决复杂的电池故障状态告警不及时、指定连续时间窗口内特征值提取及需要模型算法识别类故障无法精准识别问题，将数据存储在传统数据库中，在传统数据库中对数据进行重新排序，将无序数据处理成有序、连续和时间窗口内完整的数据形式，结合故障模型进行电池故障识别并及时预警，对故障解决状态进行有效监管。管。管。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及存储介质


[0001]本专利技术实施例涉及数据处理
，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]目前网联车辆能够以一定周期(1s、5s、10s等)为间隔向云端发送车辆状态数据，包括时间、累计行驶里程、经纬度坐标、蓄电池剩余电量、单体电池电压、温度等。数据以密文形式传输，且为非结构化数据，需要进行解密以及数据清洗及结构化解析后方可用于分析、监控。传统数据仓库采取T+1的方式对数据进行解析和分析，实时性不够，无法快速将问题暴露，起不到监控和预警效果；现有流式计算技术看似可以解决实时性问题，但电池状态监控需要对指定时间窗口内的连续数据进行模型运算，消息中间件入kafka及数据补发场景使得无法保证指定时间窗口内数据的有序性、连续性和完整性。

技术实现思路

[0003]本专利技术实施例提供一种数据处理方法、装置、设备及存储介质，以实现能够将流式数据处理技术与传统数据库结合，解决复杂的电池故障状态告警不及时、指定连续时间窗口内特征值提取及需要模型算法识别类故障无法精准识别问题。通过实时流数据处理技术对数据进行解码、数据清洗、及结构化处理操作，将数据存储在传统数据库中，在传统数据库中对数据进行重新排序，将无序数据处理成有序、连续和时间窗口内完整的数据形式，结合故障模型进行电池故障识别并及时预警，建立故障解决监控系统，对故障解决状态进行有效监管。
[0004]第一方面，本专利技术实施例提供了一种数据处理方法，包括：
[0005]获取待处理流数据；
[0006]将所述待处理流数据输入消息中间件后，得到第一流数据；
[0007]于获取到故障诊断指令后，对所述故障诊断指令携带的目标时间窗口内的第一流数据进行排序，得到目标流数据。
[0008]第二方面，本专利技术实施例还提供了一种数据处理装置，该装置包括：
[0009]获取模块，用于获取待处理流数据；
[0010]输入模块，用于将所述待处理流数据输入消息中间件后，得到第一流数据；
[0011]排序模块，用于于获取到故障诊断指令后，对所述故障诊断指令携带的目标时间窗口内的第一流数据进行排序，得到目标流数据。
[0012]第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的方法。
[0013]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的方法。
[0014]本专利技术实施例通过获取待处理流数据；将所述待处理流数据输入消息中间件后，得到第一流数据；于获取到故障诊断指令后，对所述故障诊断指令携带的目标时间窗口内的第一流数据进行排序，得到目标流数据，以实现能够将流式数据处理技术与传统数据库结合，解决复杂的电池故障状态告警不及时、指定连续时间窗口内特征值提取及需要模型算法识别类故障无法精准识别问题。通过实时流数据处理技术对数据进行解码、数据清洗、及结构化处理操作，将数据存储在传统数据库中，在传统数据库中对数据进行重新排序，将无序数据处理成有序、连续和时间窗口内完整的数据形式，结合故障模型进行电池故障识别并及时预警，建立故障解决监控系统，对故障解决状态进行有效监管。
附图说明
[0015]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0016]图1是本专利技术实施例一中的一种数据处理方法的流程图；
[0017]图1a是本专利技术实施例一中的数据存储示意图；
[0018]图1b是本专利技术实施例一中的告警流程图；
[0019]图2是本专利技术实施例二中的一种数据处理装置的结构示意图；
[0020]图3是本专利技术实施例三中的一种计算机设备的结构示意图。
具体实施方式
[0021]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0022]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0023]实施例一
[0024]图1为本专利技术实施例一提供的一种数据处理方法的流程图，本实施例可适用于数据处理的情况，该方法可以由本专利技术实施例中的数据处理装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：
[0025]S110，获取待处理流数据。
[0026]其中，所述待处理流数据为获取到的车辆数据，例如可以是，车辆上传云端的实时数据和历史数据。
[0027]S120，将所述待处理流数据输入消息中间件后，得到第一流数据。
[0028]示例性的，所述第一流数据的分区内数据有序，例如可以是，如图1a所示，解码后的密文数据输入消息中间件后，得到的数据为V01,xxx,07，V01,xxx,08，V01,xxx,09，V01,xxx,04，V01,xxx,05，V01,xxx,06，V01,xxx,01，V01,xxx,02，V01,xxx,03，其中，V01,xxx,07，V01,xxx,08，V01,xxx,09这一分区是有序的，V01,xxx,04，V01,xxx,05，V01,xxx,06这一
分区是有序的，V01,xxx,01，V01,xxx,02，V01,xxx,03，这一分区是有序的。
[0029]S130，于获取到故障诊断指令后，对所述故障诊断指令携带的目标时间窗口内的第一流数据进行排序，得到目标流数据。
[0030]其中，所述诊断指令携带的目标时间窗可以为根据诊断指令中的业务需求确定的，也可以为从诊断指令中的业务需求中获取的，本专利技术实施例对比不进行限制。
[0031]示例性的，于获取到故障诊断指令后，对所述故障诊断指令携带的目标时间窗口内的第一流数据进行排序，得到目标流数据，例如可以是，如图1a所示，于获取到故障诊断指令后，获取诊断指令携带的目标时间窗口为V01,xxx,01，V01,xxx,02，V01,xxx,03，V01,xxx,04，V01,xxx,05，V01,xxx,06，V01,xxx,07，V01,xxx,08，V01,xxx,09对应的时间窗口，则需要将第一流数据V01,xxx,07，V01,xxx,08，V01,xxx,09，V01,xxx,04，V01,xxx,05本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理流数据；将所述待处理流数据输入消息中间件后，得到第一流数据；于获取到故障诊断指令后，对所述故障诊断指令携带的目标时间窗口内的第一流数据进行排序，得到目标流数据。2.根据权利要求1所述的方法，其特征在于，于获取到故障诊断指令后，对所述故障诊断指令携带的目标时间窗口内的第一流数据进行排序，得到目标流数据包括：于获取到故障诊断指令后，若获取到中断信号，则获取所述中断信号对应的目标等待时间，其中，所述故障诊断指令携带目标时间窗口；根据所述目标时间窗口和所述目标等待时间确定第一时间窗口；对所述第一时间窗口内的第一流数据进行排序，得到目标流数据。3.根据权利要求1所述的方法，其特征在于，于获取到故障诊断指令后，对所述故障诊断指令携带的目标时间窗口内的第一流数据进行排序，得到目标流数据之后，还包括：根据所述目标流数据确定目标告警信息；根据所述目标告警信息查询告警列表；若在所述告警列表中识别出与所述目标告警信息匹配的告警信息，且所述告警信息的状态为未解决，则不进行告警。4.根据权利要求3所述的方法，其特征在于，还包括：若未在所述告警列表中识别出与所述目标告警信息匹配的告警信息，则将所述目标告警信息添加至所述告警列表。5.根据权利要求4所述的方法，其特征在于，若未在所述告警列表中识别出与所述目标告警信息匹配的告警信息，则将所述目标告警信息添加至所述告警列表，包括：若未在所述告警列表中识别出与所述目标告警信息匹配的告警信息，则将所述目标告警信息添加至...

【专利技术属性】
技术研发人员：邵天东，付振，王明月，袁鲁峰，王亮，梁小明，李涵，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：