一种数据处理方法技术

本申请提供了一种数据处理方法

【技术实现步骤摘要】
一种数据处理方法、装置、设备及可读存储介质


[0001]本申请涉及数据处理
，具体涉及一种数据处理方法
、
装置
、
设备及可读存储介质
。

技术介绍

[0002]随着
5G、
大数据
、
人工智能
、
物联网等新兴技术的不断发展，数据呈现出爆炸性增长，越来越多的大数据产品出现，也使得数据量变得十分庞大
。
[0003]由于数据量的暴增，导致数据部署的难度提高
。
而目前在进行数据传输时，均采用的人工的方式进行，但是，人工进行数据传输的方式十分繁琐，并且人工操作也会待来不确定性的误差，如此导致数据传输的效率低
。

技术实现思路

[0004]有鉴于此，本申请提供了一种数据处理方法
、
装置
、
设备及可读存储介质，能够提高数据传输的效率
。
[0005]为解决上述问题，本申请提供的技术方案如下：
[0006]第一方面，本申请提供了一种数据处理方法，所述方法包括：
[0007]获取数据传输请求，所述数据传输请求包括数据的库名
、
数据的表名和数据的存储日期；
[0008]利用所述数据的库名
、
所述数据的表名和数据的存储日期从待导出数据表中确定待导出数据集合；
[0009]利用所述待导出数据集合中的待导出数据的库名
、
待导出数据的表名和待导出数据的存储日期从待传输数据表中确定待传输数据集合；
[0010]利用所述传输数据集合中的待传输数据创建传输任务；
[0011]若所述传输任务中的待传输数据符合预设的数据传输条件，则将所述传输任务中的待传输数据传输至目标存储空间
。
[0012]在一种可能实现的方式中，所述若所述传输任务中的待传输数据符合预设的数据传输条件，则将所述传输任务中的待传输数据传输至目标存储空间，包括：
[0013]利用所述
ods
‑
export
‑
transfer
程序查询所述
ods_export_task
表，确定所述待传输数据集合中的待传输数据的
status
字段值；
[0014]若所述
status
字段值为预设目标字段值，则将所述传输任务中的待传输数据传输至目标存储空间
。
[0015]在一种可能实现的方式中，所述方法包括：
[0016]获取所述传输任务的状态信息，所述状态信息包括：传输成功或者传输失败
。
[0017]在一种可能实现的方式中，所述方法包括：
[0018]若所述传输状态为传输失败；
[0019]获取所述传输任务中的待传输数据的传输时长；
[0020]若所述传输时长小于第一预设传输时长，则对所述传输任务的第一执行次数进行更新，确定更新后的所述传输任务的第二执行次数；
[0021]若更新后的所述传输任务的第二执行次数与所述传输任务的第一执行次数之间的差值为1，则返回执行所述将所述传输任务中的待传输数据传输至目标存储空间
。
[0022]在一种可能实现的方式中，所述方法包括：
[0023]若所述传输状态为传输失败；
[0024]获取所述传输任务中的待传输数据的传输次数和所述传输任务中的待传输数据的传输时长；
[0025]若所述传输次数小于预设传输次数，并且所述传输时长大于第二预设传输时长；
[0026]则对所述传输任务的第三执行次数进行更新，确定更新后的所述传输任务的第四执行次数；
[0027]若更新后的所述传输任务的第四执行次数与所述传输任务的第三执行次数之间的差值为1，则返回执行所述将所述传输任务中的待传输数据传输至目标存储空间
。
[0028]第二方面，本申请还提供了一种数据处理装置，所述装置包括：
[0029]第一获取模块，用于获取数据传输请求，所述数据传输请求包括数据的库名
、
数据的表名和数据的存储日期；
[0030]第一确定模块，用于利用所述数据的库名
、
所述数据的表名和数据的存储日期从待导出数据表中确定待导出数据集合；
[0031]第二确定模块，用于利用所述待导出数据集合中的待导出数据的库名
、
待导出数据的表名和待导出数据的存储日期从待传输数据表中确定待传输数据集合；
[0032]创建模块，用于利用所述传输数据集合中的待传输数据创建传输任务；
[0033]第一传输模块，用于若所述传输任务中的待传输数据符合预设的数据传输条件，则将所述传输任务中的待传输数据传输至目标存储空间
。
[0034]在一种可能实现的方式中，第一传输模块，包括：第一传输子模块；
[0035]所述传输子模块，用于利用所述
ods
‑
export
‑
transfer
程序查询所述
ods_export_task
表，确定所述待传输数据集合中的待传输数据的
status
字段值；
[0036]若所述
status
字段值为预设目标字段值，则将所述传输任务中的待传输数据传输至目标存储空间
。
[0037]在一种可能实现的方式中，所述装置包括：第二获取模块；
[0038]所述第二获取模块，用于获取所述传输任务的状态信息，所述状态信息包括：传输成功或者传输失败
。
[0039]在一种可能实现的方式中，所述装置包括：第二传输模块；
[0040]所述第二传输模块，用于若所述传输状态为传输失败；获取所述传输任务中的待传输数据的传输时长；若所述传输时长小于第一预设传输时长，则对所述传输任务的第一执行次数进行更新，确定更新后的所述传输任务的第二执行次数；若更新后的所述传输任务的第二执行次数与所述传输任务的第一执行次数之间的差值为1，则返回执行所述将所述传输任务中的待传输数据传输至目标存储空间
。
[0041]在一种可能实现的方式中，所述装置包括：第三传输模块；
[0042]所述第三传输模块，用于若所述传输状态为传输失败；获取所述传输任务中的待
传输数据的传输次数和所述传输任务中的待传输数据的传输时长；若所述传输次数小于预设传输次数，并且所述传输时长大于第二预设传输时长；则对所述传输任务的第三执行次数进行更新，确定更新后的所述传输任务的第四执行次数；若更新后的所述传输任务的第四执行次数与所述传输任务的第三执行次数之间的差值为1，则返回执行所述将所述传输任务中的待传输数据传输至目标存储空间
。
[0043]第三方面本申请提供了一种据处理设备，其特征在于，包括：处理器和存储器；...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，所述方法包括：获取数据传输请求，所述数据传输请求包括数据的库名
、
数据的表名和数据的存储日期；利用所述数据的库名
、
所述数据的表名和数据的存储日期从待导出数据表中确定待导出数据集合；利用所述待导出数据集合中的待导出数据的库名
、
待导出数据的表名和待导出数据的存储日期从待传输数据表中确定待传输数据集合；利用所述传输数据集合中的待传输数据创建传输任务；若所述传输任务中的待传输数据符合预设的数据传输条件，则将所述传输任务中的待传输数据传输至目标存储空间
。2.
根据权利要求1所述的方法，其特征在于，所述若所述传输任务中的待传输数据符合预设的数据传输条件，则将所述传输任务中的待传输数据传输至目标存储空间，包括：利用所述
ods
‑
export
‑
transfer
程序查询所述
ods_export_task
表，确定所述待传输数据集合中的待传输数据的
status
字段值；若所述
status
字段值为预设目标字段值，则将所述传输任务中的待传输数据传输至目标存储空间
。3.
根据权利要求1所述的方法，其特征在于，所述方法包括：获取所述传输任务的状态信息，所述状态信息包括：传输成功
、
传输失败或者正在传输中
。4.
根据权利要求3所述的方法，其特征在于，所述方法包括：若所述传输状态为正在传输中；获取所述传输任务中的待传输数据的传输时长；若所述传输时长小于第一预设传输时长，则对所述传输任务的第一执行次数进行更新，确定更新后的所述传输任务的第二执行次数；若更新后的所述传输任务的第二执行次数与所述传输任务的第一执行次数之间的差值为1，则返回执行所述将所述传输任务中的待传输数据传输至目标存储空间
。5.
根据权利要求3所述的方法，其特征在于，所述方法包括：若所述传输状态为传输失败；获取所述传输任务中的待传输数据的传输次数和所述传输任务中的待传输数据的传输时长；若所述传输次数小于预设传输次数，并且所述传输时长大于第二预设传输时长；则对所述传输...

【专利技术属性】
技术研发人员：孙悦，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：