一种基于异常数据处理的公交车GPS数据补足方法及补足系统技术方案

本发明专利技术公开了一种基于异常数据处理的公交车GPS数据补足方法及补足系统，数据采集模块接收公交车历史GPS数据，异常数据过滤处理模块对公交车历史GPS数据进行过滤处理得到过滤处理后的公交车GPS数据，对过滤处理后的公交车GPS数据应用缺失数据检查模块进行检查，查找公交车GPS数据的站点缺失情况；对站点缺失的公交车GPS数据应用缺失数据补足模块进行站点补足。本发明专利技术还可以基于补足的数据，计算早晚高峰、平峰时每个公交站点的平均等车时间；或者基于补足的数据，计算早晚高峰、平峰时每两个公交站点之间的平均行程时间。本发明专利技术可以提高公交车GPS数据的规范性、准确性，人工成本低。

A method and system of bus GPS data complement based on abnormal data processing

【技术实现步骤摘要】
一种基于异常数据处理的公交车GPS数据补足方法及补足系统
本专利技术涉及公共交通信息处理
，具体涉及一种基于异常数据处理的公交车GPS数据补足方法及补足系统。
技术介绍
GPS(GlobalPositionSystem，全球定位系统)技术已经被广泛地应用到公交车辆的车载导航系统中，其可以更好地实现公交车辆的实时调度，并为公交车辆的动态监控管理提供帮助。公交车辆轨迹遍布于整个城市路网，已经装载GPS的公交车辆在提供GPS系统本身的信息之外，也在一定程度上反映了道路网络的状态信息。从交通信息处理与大数据挖掘的角度出发，公交车辆的GPS数据可以为交通状态评估、交通行为分析、出行OD预测以及公交车辆运营管理等诸多方面提供数据支撑。但是由于GPS系统本身存在的误差，如GPS系统运行时的稳定性问题(如时间同步稳定性)、可靠性问题(如地形、地势、高楼等对GPS信号接收的干扰)，导致公交车辆在行驶过程中的GPS数据瞬时丢失、数据重复，并且由于公交服务系统输出的问题(如输出和GPS数据本身不大相关的数据信息、输出数据格式不统一等)，对进一步利用和开发公交GPS数据造成了困扰。在大数据时代，如果空有海量的数据，而无法让这些数据产生更多的价值，这无疑会造成极大的浪费。现有的公交车站点间行程时间预测方法通常忽略异常数据，直接对异常数据进行剔除，从而导致预测结果不准确；或者是只能将数据用于行程时间预测而无法产生进一步的价值，从而导致资源的浪费。
技术实现思路
本专利技术通过一种基于异常数据处理的公交车GPS补足方法及补足系统对公交历史数据进行处理，对产生异常的数据进行处理，补足车辆到站时间，使得GPS数据的完整性得以保留，工作量小，预测结果精确。本专利技术是通过以下技术方案实现上述技术目的的。一种基于异常数据处理的公交车GPS数据补足方法，数据采集模块采集公交GPS历史数据，发送给异常数据过滤处理模块进行数据过滤处理后发送给缺失数据检测模块，查找数据的缺失情况并发送给缺失数据补足模块，对缺失站点进行补足。进一步，所述补足方法还包括：缺失数据补足模块构建缺失站点的公交车辆到站时刻，由计算模块计算每个公交站点的平均等车时间和每两个公交站点之间的平均行程时间，计算结果发送给查询模块，供查询使用。进一步，所述缺失数据检测模块查找数据的缺失情况具体为：对过滤处理后的公交GPS数据进行站序从小到大排序，检测相同到站时刻的数据形成数据集，将数据集按照运单号和站序排序，再按照运单号分组，每组第一个记录或最后一个记录的tgroups为2时，是首站或尾站缺失；每组第一个记录和最后一个记录之间的tgroups为2时，则是中间站缺失，删除重复数据。进一步，所述缺失数据补足模块对缺失站点进行补足包括补首站序、补末站序和补中间站序；所述补首站序具体为：扩展缺首站序的第一个站序，将两行中的第一行修改为首站，站序改为1，时间t设定为missing；所述补末站序具体为：扩展缺末站序的最后一行，将两行中的第二行修改为末站，站序改为count，时间t设定为missing；校验GPS数据中最大站序和线路站点数之间的差异的变量diff_count大于3时，不再补充；所述补中间站序具体为：将首末站站序补足后的公交车GPS数据设为面板数据，利用tsfill命令补足站序中的空缺，利用ipolate命令进行线性插值t变量到t_fill变量，添补空白的线路编号、车辆编号和线路走向。一种基于异常数据处理的公交车GPS数据补足系统，包括信号连接的数据采集模块和数据预处理模块，所述数据预处理模块包括信号连接的异常数据过滤处理模块、缺失站点检测模块和缺失数据补足模块；缺失数据补足模块接收公交车GPS数据，异常数据过滤处理模块处理公交车GPS数据，缺失站点检测模块检查数据缺失情况，缺失数据补足模块对缺失数据进行补足。本专利技术的有益效果为：本专利技术以海量的公交车GPS数据为基础，首先对公交车GPS历史数据进行过滤处理，再通过缺失数据补足模块对缺失的站点、站序进行补全，构建缺失站点的公交车辆到站时刻；本专利技术的补足方法对公交规划、利用公交车GPS数据进行分析公交车可达性提供了准确的数据参考。另外，本专利技术还通过集成数据采集、数据处理和结果展示建立一种补足系统，直观地观察公交车GPS数据异常情况，并通过命令实现缺失站点的补足；本专利技术可降低数据处理的人工成本，并可以实现大批量的数据处理，且实施过程易复制，大大降低了公交站点缺失数据的补足难度，从而为更加有效地利用公交GPS数据提供了基础。附图说明图1为本专利技术公交车GPS数据补足系统结构图；图2是本专利技术公交车GPS数据补足方法框图；图3是本专利技术提供的GPS时间标准化处理方法的流程图；图4是本专利技术提供的具有相同到站时刻的数据处理方法流程图；图5是本专利技术提供的站点缺失数据补足方法流程图。具体实施方式以下结合附图及具体案例对本专利技术做进一步的详细说明。如图1所示，公交车GPS数据补足系统实施例的系统结构图，该公交车GPS数据补足系统，包括：数据采集模块、数据预处理模块、计算模块和查询模块，数据采集模块、数据预处理模、计算模块和查询模块依次进行信号连接；数据采集模块设置在公交车上，且与GPS连接，用于接收公交车GPS数据；数据预处理模、计算模块和查询模块均运行在电脑终端；数据预处理模块用于过滤处理公交车GPS数据并检查数据缺失情况，对缺失数据进行补足；计算模块用于计算每个公交站点的平均等车时间和相邻两个公交站点的平均行程时间；查询模块用于指定公交站点或指定相邻公交站点的平均行程时间的查询和展示。所述数据预处理模块包括异常数据过滤处理模块，用于异常数据和不需要数据以及重复数据的过滤处理；缺失站点检测模块，用于检测公交站点的缺失情况；缺失数据补足模块，用于补足缺失的公交车GPS站点相应的数据。如图2所示，本专利技术一种基于异常数据处理的公交车GPS补足方法，该方法应用于公交车GPS数据检查补充，为了对GPS数据出现站点、站序缺失的情况进行补足处理，采集海量的公交GPS历史数据，进行异常数据过滤处理，再应用缺失数据检测模块查找数据缺失情况，之后通过缺失数据补足模块对缺失站点进行补足，并构建缺失站点的公交车辆到站时刻，进行早晚高峰、平峰时每个公交站点的平均等车时间(min)、每两个公交站点之间的平均行程时间(min)计算。所述GPS数据为当天特定城市的真实公交车辆的车载GPS数据。具体的步骤如下：步骤1，数据采集模块接收公交车历史GPS数据，并发送给电脑终端。接收的公交车历史GPS数据包括公交车到站数据(相应变量说明见表1)，表2为公交线路站点数据集(相应变量说明见表)。表1公交车GPS数据变量说明表表2公交线路站点数据集变量说明表变量名类型标签说明route_namestr32ROUTE_NAM本文档来自技高网...

【技术保护点】
1.一种基于异常数据处理的公交车GPS数据补足方法，其特征在于：数据采集模块采集公交GPS历史数据，发送给异常数据过滤处理模块进行数据过滤处理后发送给缺失数据检测模块，查找数据的缺失情况并发送给缺失数据补足模块，对缺失站点进行补足。/n

【技术特征摘要】
1.一种基于异常数据处理的公交车GPS数据补足方法，其特征在于：数据采集模块采集公交GPS历史数据，发送给异常数据过滤处理模块进行数据过滤处理后发送给缺失数据检测模块，查找数据的缺失情况并发送给缺失数据补足模块，对缺失站点进行补足。


2.根据权利要求1所述的基于异常数据处理的公交车GPS数据补足方法，其特征在于：所述补足方法还包括：缺失数据补足模块构建缺失站点的公交车辆到站时刻，由计算模块计算每个公交站点的平均等车时间和每两个公交站点之间的平均行程时间，计算结果发送给查询模块，供查询使用。


3.根据权利要求1所述的基于异常数据处理的公交车GPS数据补足方法，其特征在于：所述缺失数据检测模块查找数据的缺失情况具体为：对过滤处理后的公交GPS数据进行站序从小到大排序，检测相同到站时刻的数据形成数据集，将数据集按照运单号和站序排序，再按照运单号分组，每组第一个记录或最后一个记录的tgroups为2时，是首站或尾站缺失；每组第一个记录和最后一个记录之间的tgroups为2时，则是中间站缺失，删除重复数据。


4.根据权利要求1所述的基于异常数据处理的公交车GPS数据补足方法，其特征在于：所述缺失数据补足模块对缺失站点进行补足包括补首站序、补末站序和补中间站序。


5.根据权利要求4所...

【专利技术属性】
技术研发人员：景鹏，胡瀚斌，王伟，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32