数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置、计算机设备及计算机可读存储介质，其中所述方法包括：从外部导入数据并写入导入队列；执行过滤脚本对所述导入队列中的数据进行去重过滤后写入数据库。本发明专利技术提供的数据处理方法、装置、设备及存储介质，可以解决现有数据处理过程中因数据杂乱而导致处理效率低下的技术问题。

Data processing method and device

【技术实现步骤摘要】
数据处理方法及装置
本专利技术涉及数据处理的
，尤其涉及数据处理方法及计算机装置、设备及计算机可读存储介质。
技术介绍
在数据处理过程中，为了兼顾完成最接近期限的任务，通常会先处理部分数据以录入数据库。这样容易因忙碌、人工操作不规范或者人工疏忽而导致数据杂乱、遗漏、数据处理延迟。
技术实现思路
本专利技术的目的在于提供数据处理方法及装置、计算机设备及计算机可读存储介质，以解决现有数据处理过程中因数据杂乱而导致处理效率低下的技术问题。本专利技术的目的采用以下技术方案实现：本专利技术的第一方面提供一种数据处理方法，所述方法包括：从外部导入数据并写入导入队列；执行过滤脚本对所述导入队列中的数据进行去重过滤后写入数据库。通过从外部导入数据并写入导入队列，及执行过滤脚本对所述导入队列中的数据进行去重过滤后写入数据库，可以避免对重复数据的频繁导入，使得数据处理过程中不会出现数据杂乱，从而提高处理效率，节省人力资源。可选地，所述数据处理方法还包括：执行读取脚本将数据库中的数据分批写入处理队列；执行处理脚本对所述处理队列中的数据进行校验，将校验通过的数据写入发送队列，并更新校验未通过的数据在数据库中的处理状态。在上述数据处理方法中，每个脚本及队列负责的数据部分各不相同，分工协作，既独立于个体，又团结于整体，求同存异，从而使得代码运行高速、稳定、易维护。这样可以节省人力资源，规避因人工操作不规范而导致的缺陷，节省大量时间。可选地，所述数据处理方法还包括：执行发送脚本将写入发送队列的数据推送至指定平台，并更新发送不成功的数据在数据库中的处理状态。由于执行发送脚本将写入发送队列的数据发送至指定平台，并更新发送不成功的数据在数据库中的处理状态这样可以适应实际使用场景的需要，向指定平台发送数据作为其基础数据源。可选地，所述方法还包括：将数据库中的校验未通过的数据、发送不成功的数据写入异常队列，执行异常脚本对所述异常队列中的数据进行处理并更新数据的处理状态。通过将数据库中的校验未通过的数据、发送不成功的数据写入异常队列，执行异常脚本对所述异常队列中的数据进行处理并更新数据的处理状态，这样可以使得因系统异常而导致处理或者发送失败的数据得到处理，避免数据处理遗漏。可选地，所述执行过滤脚本对所述导入队列中的数据进行去重过滤后写入数据库，包括：从预置的缓存中查询所述数据的处理状态；若查询到所述数据的处理状态为预定的处理状态，则不将所述数据写入数据库；若在所述缓存中未查询到所述数据的处理状态，则记录所述数据的处理状态为待处理，并将所述数据写入数据库。通过上述步骤，这样可以使得处理状态为预定的处理状态的数据不被重复写入数据库，不仅能够避免数据冗余，而且使得数据处理更为高效。可选地，所述执行过滤脚本对所述导入队列中的数据进行去重过滤后写入数据库，还包括：将数据处理期间发生异常导致处理失败的异常数据重新写入导入队列。通过将数据处理期间发生异常导致处理失败的异常数据重新写入导入队列，这样可以使得因系统异常而导致过滤失败的数据得到处理，避免数据处理遗漏。可选地，去重过滤后写入数据库的数据的处理状态为待处理，校验未通过的数据在数据库中的处理状态为处理失败。由于去重过滤后写入数据库的数据的处理状态为待处理，校验未通过的数据在数据库中的处理状态为处理失败，这样可以根据数据的处理状态而进行相应的处理。可选地，所述执行读取脚本将数据库中的数据分批写入处理队列，包括：从第一时间文件读取起始时间，执行读取脚本读取入库时间在所述起始时间之后第一时长以内的处理状态为待处理的数据并写入处理队列；每次读取结束时，将读取结束时间写入所述第一时间文件作为下次读取的起始时间。通过读取入库时间在所述起始时间之后第一时长以内的处理状态为待处理的数据并写入处理队列，可以使得数据库中的待处理的数据分批写入处理队列，有利于对数据进行流水化处理，提高数据处理效率。可选地，所述执行读取脚本将数据库中的数据分批写入处理队列，包括：从第二时间文件读取起始时间T1，执行读取脚本读取入库时间在所述起始时间T1之前第二时长t1以内的处理状态为待处理及处理失败的数据并写入处理队列；其中，如果(T2-t1)≤(T1+t2)，则结束执行读取脚本，T2为当前时间，t2为第三时长；每次读取结束时，将读取结束时间写入所述第二时间文件作为下次读取的起始时间。通过读取入库时间在所述起始时间T1之前第二时长t1以内的处理状态为待处理及处理失败的数据并写入处理队列，可以使得因遗漏、系统异常而导致处理失败的数据得到处理。本专利技术的第二方面提供一种数据处理装置，所述装置包括：录入模块，用于从外部导入数据并写入导入队列；过滤模块，用于执行过滤脚本对所述导入队列中的数据进行去重过滤后写入数据库。通过从外部导入数据并写入导入队列，及执行过滤脚本对所述导入队列中的数据进行去重过滤后写入数据库，可以避免对重复数据的频繁导入，使得数据处理过程中不会出现数据杂乱，从而提高处理效率，节省人力资源。可选地，所述数据处理装置还包括：读取模块，用于执行读取脚本将数据库中的数据分批写入处理队列；处理模块，用于执行处理脚本对所述处理队列中的数据进行校验，将校验通过的数据写入发送队列，并更新校验未通过的数据在数据库中的处理状态。在上述数据处理装置中，每个脚本及队列负责的数据部分各不相同，分工协作，既独立于个体，又团结于整体，求同存异，从而使得代码运行高速、稳定、易维护。这样可以节省人力资源，规避因人工操作不规范而导致的缺陷，节省大量时间。可选地，所述数据处理装置还包括：发送模块，用于执行发送脚本将写入发送队列的数据推送至指定平台，并更新发送不成功的数据在数据库中的处理状态。由于执行发送脚本将写入发送队列的数据发送至指定平台，并更新发送不成功的数据在数据库中的处理状态这样可以适应实际使用场景的需要，向指定平台发送数据作为其基础数据源。可选地，所述数据处理装置还包括：异常模块，用于将数据库中的校验未通过的数据、发送不成功的数据写入异常队列，执行异常脚本对所述异常队列中的数据进行处理并更新数据的处理状态。通过将数据库中的校验未通过的数据、发送不成功的数据写入异常队列，执行异常脚本对所述异常队列中的数据进行处理并更新数据的处理状态，这样可以使得因系统异常而导致处理或者发送失败的数据得到处理，避免数据处理遗漏。可选地，所述过滤模块包括：查询单元，用于从预置的缓存中查询所述数据的处理状态；写入单元，用于若查询到所述数据的处理状态为预定的处理状态，则不将所述数据写入数据库；记录单元，用于若在所述缓存中未查询到所述数据的处理状态，则记录所述数据的处理状态为待处理，并将所述数据写入数据库。由于所述过本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n从外部导入数据并写入导入队列；/n执行过滤脚本对所述导入队列中的数据进行去重过滤后写入数据库。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
从外部导入数据并写入导入队列；
执行过滤脚本对所述导入队列中的数据进行去重过滤后写入数据库。


2.根据权利要求1所述的数据处理方法，其特征在于，还包括：
执行读取脚本将数据库中的数据分批写入处理队列；
执行处理脚本对所述处理队列中的数据进行校验，将校验通过的数据写入发送队列，并更新校验未通过的数据在数据库中的处理状态。


3.根据权利要求2所述的数据处理方法，其特征在于，还包括：
执行发送脚本将写入发送队列的数据推送至指定平台，并更新发送不成功的数据在数据库中的处理状态。


4.根据权利要求3所述的数据处理方法，其特征在于，所述方法还包括：
将数据库中的校验未通过的数据、发送不成功的数据写入异常队列，执行异常脚本对所述异常队列中的数据进行处理并更新数据的处理状态。


5.根据权利要求1-4任一项所述的数据处理方法，其特征在于，所述执行过滤脚本对所述导入队列中的数据进行去重过滤后写入数据库，包括：
从预置的缓存中查询所述数据的处理状态；
若查询到所述数据的处理状态为预定的处理状态，则不将所述数据写入数据库；
若在所述缓存中未查询到所述数据的处理状态，则记录所述数据的处理状态为待处理，并将所述数据写入数据库。


6.根据权利要求5所述的数据处理方法，其特征在于，所述执行过滤脚本对所...

【专利技术属性】
技术研发人员：倪艳，
申请(专利权)人：上海东普信息科技有限公司，
类型：发明
国别省市：上海;31