【技术实现步骤摘要】
本专利技术涉及计算机数据处理，特别是有关新能源汽车上报的海量时序数据在有限计算资源的条件下的数据处理方法。
技术介绍
1、针对新能源汽车上报的海量时序数据的处理方法，一般采用线程加缓存技术或stream流技术实现实时处理具有时序特性的连续数据的任务。
2、这两种方法在处理具有海量分组时序要求的数据时都存在很大的局限性。譬如，无法充分发挥单一节点的全部性能；难以应对高并发、高吞吐量的写入能力需求；面对海量的时序流组处理要求对流处理的实现也面临较大的挑战。
3、鉴于此，一种关于新能源汽车上报的海量时序数据在有限计算资源的条件下的数据处理方法是值得研究的课题。
技术实现思路
1、本专利技术要解决的技术问题是如何提升单个数据处理节点的数据吞吐量和数据处理效率以降低数据处理的成本投入。
2、为了解决上述技术问题，本专利技术提供了一种新能源汽车运行数据的处理方法，所述方法包括以下步骤：
3、s1、初始化服务器内存数据处理窗口及窗口队列参数，启动采集程序并根据配置的滚动策略对车辆运行数据进行采集；
4、s2、根据窗口匹配算法对采集的数据进行窗口匹配得到预处理窗口队列，并对所述预处理窗口队列进行数值分析和矫正以确保数据的质量和可信度；
5、s3、对预处理后的窗口队列数据进行连接聚合处理以确保在时序条件下数据的时效性和完整性；
6、s4、根据分析任务的需要将数据拆解分发给对应的并行处理器以完成相应的业务计算，将计算结
7、进一步的，所述s3还包括：
8、判断所述连接聚合后的数据是否失效，若存在失效情况，则将此数据送入核验队列进行人工核验；若无失效情况，则判断所述连接聚合后的数据是否完整，若数据完整，则进行下一步s4，若数据非完整，则返回s3再次进行连接聚合处理。
9、进一步的，所述s1中初始化服务器内存数据处理窗口及窗口队列参数还包括：
10、初始化期间系统为每个窗口创建对应的长度可调的数值队列，同时启动一调度模块来管理窗口与所述数值队列的调度关系以确保数据合理分配。
11、进一步的，所述调度模块根据各个窗口队列长度和窗口的消费速率在一定范围内动态调整当前窗口的数值队列长度。
12、进一步的，所述调度模块能够监视窗口队列的消费状态，当所述窗口队列发生拥堵时，锁定所述窗口队列中发生拥堵的车辆数据，调整相应车辆数据的消费优先级的同时采用分流的策略将未发生拥堵的车辆数据转移至其他窗口。
13、进一步的，所述s1中根据配置的滚动策略对车辆运行数据进行采集还包括：
14、对车辆数据的消费建立分级和窗口标记；
15、所述调度模块依据实际情况动态维护所述分级和窗口标记信息；
16、通过哈希求余策略或轮询策略对车辆数据进行窗口映射以确保同一车辆的数据只能被同一个窗口消费以及分配在各个窗口的车辆数据均衡。
17、进一步的，所述s2中在得到所述预处理窗口队列之前还包括对采集的数据进行数据清洗：
18、对于异常值，利用车辆数据的统计特性进行异常值检测，并对检测结果进行校正；
19、对于缺失值，结合删除法、填补法、插值法以及模型预测法进行缺失值的校正处理；
20、对于离群值，以中位数绝对离差为基础，结合滑动窗线性插值以及孤立森林分析方法消除离散数据。
21、一种电子设备，包括：
22、一个或多个处理器；
23、存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现所述的新能源汽车运行数据的处理方法。
24、一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使得计算机执行所述的新能源汽车运行数据的处理方法。
25、与现有技术相比，本专利技术具有如下有益效果：
26、本专利技术通过动态构建车辆数据并行处理窗口，以及通过多种窗口匹配策略和自适应队列，大大提升了单个节点的数据吞吐量，实现新能源汽车上报的海量时序数据能够在有限计算资源的条件下被高效处理。
本文档来自技高网...【技术保护点】
1.一种新能源汽车运行数据的处理方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的新能源汽车运行数据的处理方法，其特征在于，所述S3还包括：
3.根据权利要求1所述的新能源汽车运行数据的处理方法，其特征在于，所述S1中初始化服务器内存数据处理窗口及窗口队列参数还包括：
4.根据权利要求3所述的新能源汽车运行数据的处理方法，其特征在于，所述调度模块根据各个窗口队列长度和窗口的消费速率在一定范围内动态调整当前窗口的数值队列长度。
5.根据权利要求3所述的新能源汽车运行数据的处理方法，其特征在于，所述调度模块能够监视窗口队列的消费状态，当所述窗口队列发生拥堵时，锁定所述窗口队列中发生拥堵的车辆数据，调整相应车辆数据的消费优先级的同时采用分流的策略将未发生拥堵的车辆数据转移至其他窗口。
6.根据权利要求3所述的新能源汽车运行数据的处理方法，其特征在于，所述S1中根据配置的滚动策略对车辆运行数据进行采集还包括：
7.根据权利要求1所述的新能源汽车运行数据的处理方法，其特征在于，所述S2中在得到所述预处理
8.一种电子设备，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使得计算机执行如权利要求1-7任一项所述的新能源汽车运行数据的处理方法。
...【技术特征摘要】
1.一种新能源汽车运行数据的处理方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的新能源汽车运行数据的处理方法，其特征在于，所述s3还包括：
3.根据权利要求1所述的新能源汽车运行数据的处理方法，其特征在于，所述s1中初始化服务器内存数据处理窗口及窗口队列参数还包括：
4.根据权利要求3所述的新能源汽车运行数据的处理方法，其特征在于，所述调度模块根据各个窗口队列长度和窗口的消费速率在一定范围内动态调整当前窗口的数值队列长度。
5.根据权利要求3所述的新能源汽车运行数据的处理方法，其特征在于，所述调度模块能够监视窗口队列的消费状态，当所述窗口队列发生拥堵时，锁定所述窗口...
【专利技术属性】
技术研发人员：程学明，黄仁高，储著钧，王申亚，董翔宇，周华龙，郭孝辉，
申请(专利权)人：安徽数安系统集成有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。