一种驾驶运输异常数据的处理方法技术

本发明专利技术公开了一种驾驶运输异常数据的处理方法，其步骤如下：S1：采集车辆数据，对数据进行去重处理；S2：对经纬度和里程值数据进行检测和分析；S3：对检测出来的异常数据进行修正和删除；S4：对修正好的数据格式统一化和数据集成。本发明专利技术通过使用基于经纬度距离的异常点检测算法来筛选出经纬度异常，进行处理，可以辅助道路运输过程安全管控，提高运输安全管理水平和运输效率。理水平和运输效率。理水平和运输效率。

【技术实现步骤摘要】
一种驾驶运输异常数据的处理方法


[0001]本专利技术属于数据处理领域，具体为一种驾驶运输异常数据的处理方法。

技术介绍

[0002]随着日益增长的运输需求和人们对于运输要求的变高，公路运输在信息时 代迎来新的挑战。车联网技术应运而生，车联网是指借助装载在车辆上的电子 标签通过无线射频等识别技术，实现在信息网络平台上对所有车辆的属性信息 和静、动态信息进行提取和有效利用，并根据不同的功能需求对所有车辆的运 行状态进行有效的监管和提供综合服务的系统。车载传感器等设备能够实时的 采集到大量的车辆行驶数据，如何从大量、复杂的采集数据中提取车辆的行程、 对车辆轨迹进行挖掘、对车辆行驶轨迹进行管控、分析驾驶员的不良驾驶行为、 为驾驶员提出安全建议是至关重要的。
[0003]因此，为了提高数据挖掘的质量，数据处理是必不可少的环节。又因为现 实中采集到的数据大多都带有噪声会导致部分数据异常，对异常数据进行检测 和处理是必要的。
[0004]目前异常数据处理方法方面的研究现状：
[0005]一部分研究是对缺失数据进行处理，在目前较为经典且被广泛使用的数据 填补方法包括基于统计和基于机器学习两种。基于统计学的填补方法主要包括 均值法、多重插补和期望最大化。在基于机器学习的填补方法中，支持向量回 归算法可以通过将低维非线性数据映射到高维实现数据可分，因此具有非线性 回归能力。但其算法性能很大程度上受到核函数中超参数的影响，效果并不稳 定。随机森林算法将统计学习分类与回归结合在一起，使用多个决策树进行预 测，输出值为所有决策树结果的平均值，在高维数据训练上速度快且泛化能力 强，但在数据噪音或波动较大的场景下，该方法可能会出现过拟合现象。另外 一部分是对车辆跑偏的研究，在计算方法方面，武汉理工大学的廖聪分析了三 种跑偏量计算方法，对每种算法的误差特性做了解析计算和比较。安长江、李 文勇提出用GPS技术来进行车辆的跑偏测量，并推导出跑偏数据计算方法，在保 证测量精度的前提下实现了跑偏量的快速测量和计算。周恒星基于VB0X设备， 简要介绍了利用GPS进行跑偏测试的系统，该测试方法和系统广泛被汽车企业所 采用。通过以上的现状分析，目前对异常数据的处理主要集中数据缺失上以及 车辆跑偏，对具体数值的异常数据尤其是异常经纬度的数据缺少有效的处理方 法，这导致驾驶运输数据处理的缺陷，给交通运输管理带来安全隐患。

技术实现思路

[0006]为了解决上述技术问题，本专利技术提供一种驾驶运输数据处理方法，对于能 够修正的异常点，结合汽车方向角来进行修正，完善了驾驶运输数据的预处理。
[0007]本专利技术解决上述技术问题的技术方案是：一种驾驶运输数据预处理方法， 包括以下步骤：
[0008]S1：采集车辆数据，对数据进行去重处理；
[0009]S2：对经纬度和里程值数据进行检测和分析；
[0010]S3：对检测出来的异常数据进行修正和删除；
[0011]S4：对修正好的数据格式统一化和数据集成。
[0012]进一步的，所述步骤S2对经去重处理的车辆数据通过依据阈值的检测算法 进行检测和分析。
[0013]进一步的，所述步骤S3对检测出来的异常数据若为脏数据，直接删除，能 够修正的异常点，则结合汽车方向角，用依据三角函数关系构造的修正算法进 行修正
[0014]与现有技术相比，本专利技术的有益效果在于：本专利技术依据阈值的检测算法过 滤出可修正的异常数据值和只能删除的脏数据,再依据三角函数关系构造的修 正算法修正异常数据值，修正后的数据可辅助道路运输过程的安全管控，以提 高运输安全管理水平和运输效率。
附图说明
[0015]图1是本专利技术的流程图。
[0016]图2是本专利技术的异常经纬度检测流程图。
[0017]图3是本专利技术的车辆AD00003的里程图。
[0018]图4是本专利技术的异常经纬度的处理方式流程图。
[0019]图5是本专利技术的异常经纬度修正示意图。
[0020]图6是本专利技术的异常经纬度记录修正前后对比图。
[0021]图7是本专利技术的AA00251经纬度散点图。
[0022]图8是本专利技术的AD00332数据预处理前后散点图。
具体实施方式
[0023]下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说 明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内 容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样 落于本申请所限定的范围。
[0024]如图1所示，本专利技术的驾驶运输数据预处理方法，包括以下步骤：
[0025]S1：采集车辆数据，对数据进行去重处理；
[0026]S2：对经纬度和里程值数据进行检测和分析；
[0027]S3：对检测出来的异常数据进行修正和删除；
[0028]S4：对修正好的数据格式统一化和数据集成。
[0029]现实中采集到的数据大多都带有噪声，需要进行数据预处理。
[0030]通过采集车辆传感器信息，可得到表1结构数据。
[0031]表1附件1的数据说明
[0032][0033]对于异常数据的检测与分析：
[0034]·
异常经纬度坐标
[0035]1.异常原因分析
[0036]1)天气情况
[0037]下雨天，空气中水分多，影响了信号的传输。这也是为什么夏季GPS信号稍 弱的原因，夏季雨多潮湿，再加之高温蒸发，使得空气中的水分变多，从而影 响GPS信号的传输。
[0038]2)高楼因素影响GPS信号
[0039]在一些高层建筑物的低层或者地下建筑，如车辆行驶在隧道内，由于受到 墙体的遮挡，室内信号衰减非常大，就形成了信号覆盖弱点，所以造成定位不 精准，误差大等情况。
[0040]3)卫星数量
[0041]农村及偏僻地区上空安置卫星数量少，造成位置定位偏差大。
[0042]2.异常经纬度检测
[0043]本专利技术使用基于经纬度距离的异常点检测算法来筛选出异常经纬度，方法 为：通过当前节点的经纬度、当前节点的记录时间以及下一节点的记录时间， 来判断下一节点的经纬度是否异常，即通过判断间隔时间和位移距离与阈值的 大小关系来筛选出异常点，图2为本专利技术中异常经纬度检测的流程图。
[0044]·
异常里程数据
[0045]1.异常原因分析
[0046]里程是用来显示车辆累计行驶距离。在车辆行驶过程中，通过网络将采集 到的车辆实时数据返回给后台，在传输过程中可能出现错误导致里程数的异常。 也有可能人为的缘故导致里程数异常。
[0047]2.异常里程检测
[0048]对于异常里程的定义：第一，某一里程大于其后面数据的里程。正常行驶 的车辆里程数是随着行车时间增加的，若前面采集到数据的里程值大于后面数 据的里程值，则视为异常里程。第二，里程缺失情况，由于采集设备的异本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶运输数据预处理方法，其特征在于，包括以下步骤：S1：采集车辆数据，对数据进行去重处理；S2：对经纬度和里程值数据进行检测和分析；S3：对数据中的异常数据进行修正和删除；S4：对修正好的数据格式统一化和数据集成。2.根据权利要求1所述的一种驾驶运输数据预处理方法，其特征在于：所述步骤S2对经去重处理的车辆数据通过依据阈值的检测算法进行检测和分析。3.根据权利要求2所述的一种驾驶运输数据预处理方法，其特征在于：所述步骤S2具体为：通过当前节点的经纬度、当前节点的记录时间以及下一节点的记录时间，通过判断间隔时间和位移距离与阈值的大小关系来筛选出异常点。4.根据权利要求1所述的一种驾驶运输数据预处理方法，其...

【专利技术属性】
技术研发人员：李家瑶，陈龙，李黎，胡艳，
申请(专利权)人：李家瑶，
类型：发明
国别省市：