数据处理方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法，包括以下步骤：获取第一轨迹数据及数据库中的数据字典表；基于所述数据字典表对所述第一轨迹数据进行筛选，以得到筛选后的第二轨迹数据；确定所述第二轨迹数据的数据类型，将所述第二轨迹数据按照所述数据类型分类存储。本发明专利技术还公开了一种数据处理装置及计算机可读存储介质。实现了采用数据字典表过滤掉不满足预设规则的轨迹数据，并根据数据类型对轨迹数据进行分类存储，减小了数据库压力，提高了数据处理效率。

Data processing methods, devices and computer readable storage media

The invention discloses a data processing method comprises the following steps: obtaining data dictionary table data and the database path in the first; the data dictionary table on the first track data were selected based on, to get the second track data after screening; determining the second track data types, the second track data according to the data classification storage. The invention also discloses a data processing device and a computer readable storage medium. The data dictionary table is used to filter out the track data that does not meet the preset rules, and classify and store the trajectory data according to the data type, which reduces the database pressure and improves the data processing efficiency.

【技术实现步骤摘要】
数据处理方法、装置及计算机可读存储介质
本专利技术涉及数据处理领域，尤其涉及一种数据处理方法、装置及计算机可读存储介质。
技术介绍
近年来，GPS(GlobalPositioningSystem全球定位系统)技术快速发展，GPS相关的设备价格逐渐降低，并且定位精度逐渐提高。随之而来的是GPS设备的大量普及，现在大部分的智能手机上都配有GPS模块。GPS最基本的应用就是为人们提供定位的功能，但如果我们仅仅使用GPS来进行定位，那么我们将会失去大量有用的信息。我们采集的GPS信息中主要包含时间、位置这两方面的信息，将这些数据存储起来，通过对数据进行分析，我们将会得到更多的有用的信息。比如对某个城市在过去一周车流量进行分析，能够得出在某个时间，道路的拥挤程度，从而制定合适的出行路线。目前，随着GPS轨迹数据越来越多，传统基于关系型数据库，能做到时效性，但无法支撑海量数据应用，并且对GPS轨迹数据进行存储时，数据存储混乱，有些无效数据也将存入数据库，造成数据库压力大、数据处理效率低。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本专利技术的主要目的在于提供一种数据处理方法、装置及计算机可读存储介质，旨在解决数据库压力大、数据处理效率低的技术问题。为实现上述目的，本专利技术提供一种数据处理方法，所述方法包括以下步骤：获取第一轨迹数据及数据库中的数据字典表；基于所述数据字典表对所述第一轨迹数据进行筛选，以得到筛选后的第二轨迹数据；确定所述第二轨迹数据的数据类型，将所述第二轨迹数据按照所述数据类型分类存储。优选地，所述基于所述数据字典表对所述第一轨迹数据进行筛选，以得到筛选后的第二轨迹数据的步骤包括：获取所述数据字典表中的第一预设规则，并确定所述第一轨迹数据是否满足所述第一预设规则；获取满足所述第一预设规则的第二轨迹数据。优选地，所述数据类型包括常规数据及热点数据，所述将所述第二轨迹数据按照所述数据类型分类存储的步骤包括：将所述第二轨迹数据存储在数据库中；确定所述第二轨迹数据是否为热点数据；当所述第二轨迹数据为热点数据时，将所述第二轨迹数据存入缓存。优选地，所述将所述第二轨迹数据存储在数据库中的步骤之后，所述数据处理方法还包括：将所述第二轨迹数据按照第二预设规则进行分类排序；提取所述第二轨迹数据中的预设字段作为一级索引。优选地，所述确定所述第二轨迹数据是否为热点数据的步骤之后，所述数据处理方法还包括：当所述第二轨迹数据不是热点数据时，建立二级索引；将所述二级索引对应的索引数据存储至搜索服务器。优选地，所述当所述第二轨迹数据为热点数据时，将所述第二轨迹数据存入缓存的步骤之后，所述数据处理方法还包括：当在预设时间段内所述缓存中的第二轨迹数据被查询量小于预设被查询量时，则自动删除所述第二轨迹数据。优选地，所述数据处理方法还包括以下步骤：在接收到查询请求时，确定缓存中是否存在查询请求对应的查询内容；当所述缓存中不存在所述查询内容时，确定所述查询请求是否需要二级索引；当所述查询请求需要二级索引时，基于所述搜索服务器找到二级索引对应的一级索引，并基于所述一级索引在数据库中查找所述查询内容。优选地，所述当所述缓存中不存在所述查询内容时，确定所述查询请求是否需要二级索引的步骤之后，所述数据处理方法还包括：当所述查询请求不需要二级索引时，在数据库中查找所述查询内容。此外，为实现上述目的，本专利技术还提供一种数据处理装置，数据处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现上述任一项数据处理方法的步骤。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现上述任一项数据处理方法的步骤。本专利技术通过获取第一轨迹数据及数据库中的数据字典表；基于所述数据字典表对所述第一轨迹数据进行筛选，以得到筛选后的第二轨迹数据；确定所述第二轨迹数据的数据类型，将所述第二轨迹数据按照所述数据类型分类存储。本专利技术还公开了一种数据处理装置及计算机可读存储介质。实现了采用数据字典表过滤掉不满足预设规则的轨迹数据，并根据数据类型对轨迹数据进行分类存储，减小了数据库压力，提高了数据处理效率。附图说明图1是本专利技术实施例方案涉及的硬件运行环境中数据处理装置所属终端的结构示意图；图2为本专利技术数据处理方法第一实施例的流程示意图；图3为本专利技术数据处理方法第二实施例中所述基于所述数据字典表对所述第一轨迹数据进行筛选，以得到筛选后的第二轨迹数据步骤的细化流程示意图；图4为本专利技术数据处理方法第三实施例中所述将所述第二轨迹数据按照所述数据类型分类存储步骤的细化流程示意图；图5为本专利技术数据处理方法第四实施例的流程示意图；图6为本专利技术数据处理方法第五实施例的流程示意图；图7为本专利技术数据处理方法第六实施例的流程示意图；图8为本专利技术数据处理方法第七实施例的流程示意图；图9为本专利技术数据处理方法第八实施例的流程示意图；图10为数据库存储的示意图；图11为索引表示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，图1是本专利技术实施例方案涉及的硬件运行环境中数据处理装置所属终端的结构示意图。本专利技术实施例终端可以是PC。如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。可选地，终端还可以包括摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作服务器、网络通信模块、用户接口模块以及数据处理程序。在图1所示的终端中，网络接本文档来自技高网...

【技术保护点】
一种数据处理方法，应用于车辆全球定位系统GPS轨迹存储与查询系统，其特征在于，所述数据处理方法包括以下步骤：获取第一轨迹数据及数据库中的数据字典表；基于所述数据字典表对所述第一轨迹数据进行筛选，以得到筛选后的第二轨迹数据；确定所述第二轨迹数据的数据类型，将所述第二轨迹数据按照所述数据类型分类存储。

【技术特征摘要】
1.一种数据处理方法，应用于车辆全球定位系统GPS轨迹存储与查询系统，其特征在于，所述数据处理方法包括以下步骤：获取第一轨迹数据及数据库中的数据字典表；基于所述数据字典表对所述第一轨迹数据进行筛选，以得到筛选后的第二轨迹数据；确定所述第二轨迹数据的数据类型，将所述第二轨迹数据按照所述数据类型分类存储。2.如权利要求1所述的数据处理方法，其特征在于，所述基于所述数据字典表对所述第一轨迹数据进行筛选，以得到筛选后的第二轨迹数据的步骤包括：获取所述数据字典表中的第一预设规则，并确定所述第一轨迹数据是否满足所述第一预设规则；获取满足所述第一预设规则的第二轨迹数据。3.如权利要求2所述的数据处理方法，所述数据类型包括常规数据及热点数据，其特征在于，所述将所述第二轨迹数据按照所述数据类型分类存储的步骤包括：确定所述第二轨迹数据是否为热点数据；当所述第二轨迹数据为热点数据时，将所述第二轨迹数据存入缓存；将所述第二轨迹数据存储在数据库中。4.如权利要求3所述的数据处理方法，其特征在于，所述将所述第二轨迹数据存储在数据库中的步骤之后，所述数据处理方法还包括：将所述第二轨迹数据按照第二预设规则进行分类排序；提取所述第二轨迹数据中的预设字段作为一级索引。5.如权利要求4所述的数据处理方法，其特征在于，所述确定所述第二轨迹数据是否为热点数据的步骤之后，所述数据处理方法还包括：当所述第二轨迹数据不是热点数据时，建立二级索引...

【专利技术属性】
技术研发人员：王小龙，赵展，
申请(专利权)人：深圳广联赛讯有限公司，
类型：发明
国别省市：广东,44