一种数据处理的方法和装置制造方法及图纸

本申请公开了一种数据处理的方法和装置，可应用于计算机技术领域。该方法中，通过预先设置不同矩阵规模和业务类型对应的稀疏度和误差范围，对待处理数据进行分解后，按照分解后数据的矩阵规模和业务类型自动获得稀疏度和误差范围，利用所获得的稀疏度对分解后的数据进行稀疏处理，根据稀疏处理后的数据获得待检验数据，从而判断对待验证数据和待处理数据的误差是否在所获得的误差范围内，如果在，则认为该待验证数据稀疏处理收敛，保留了待处理数据的关键特征且占用空间足够小，从而，保存该待验证数据，实现在不影响线上业务处理给用户带来便利的情况下，尽可能的减小线上业务相关数据对存储空间和网络资源的占用，提高了用户体验。户体验。户体验。

【技术实现步骤摘要】
一种数据处理的方法和装置


[0001]本申请涉及计算机
，特别是涉及一种数据处理的方法和装置。

技术介绍

[0002]目前，为了方便用户，很多业务的办理(如上传个人信息、不动产影像资料、或者其他财务信息等)都不需要通过实体载体来线下完成，只需要通过手机等智能终端通过拍照等方式线上完成即可，提高了业务办理的效率，从而提高了用户体验。然而，在每一次办理业务使用内容几乎相同的数据时，用户往往会倾向于重新记录而不是搜寻历史存档，导致几乎相同的数据在智能终端等设备上出现冗余。尤其对于办理业务所需的图像，由于智能终端的拍照等功能的改进，一张图像大约为5兆字节(MByte，MB)到10MB不等，如此大数据量的图像，其传输和存储都会给网络和设备增加不小的负担。
[0003]但是，很多场景中对于图像的精度或清晰度的需求并不像摄影相关行业一样高，只需满足人眼能轻松识别即可，例如，银行系统中对于上传的身份证照片或个人证件照等图像数据。
[0004]基于此，亟待提供一种数据处理方法，能够在不影响线上业务处理给用户带来便利的情况下，尽可能的减小线上业务相关数据对存储空间和网络资源的占用。

技术实现思路

[0005]本申请实施例提供了一种数据处理的方法和装置，能够自动对待处理的数据进行稀疏化处理，并存储待处理的数据稀疏化收敛所得的数据，提高该数据对存储空间和网络资源的占用，提高用户体验。
[0006]第一方面，本申请实施例提供了一种数据处理的方法，包括：
[0007]对待处理数据进行分解，获得第一数据和第二数据；
[0008]基于所述第一数据的矩阵规模和业务类型以及所述第二数据的矩阵规模和业务类型，确定第一稀疏度和第一误差范围；
[0009]基于所述第一稀疏度对所述第一数据和/或所述第二数据进行稀疏处理，获得第三数据；
[0010]若所述第三数据和所述待处理数据的误差在所述第一误差范围内，保存所述第三数据，所述第三数据占用的空间小于所述待处理数据占用的空间。
[0011]可选的，所述基于所述第一数据的矩阵规模和业务类型以及所述第二数据的矩阵规模和业务类型，确定第一稀疏度和第一误差范围，包括：
[0012]基于所述第一数据的矩阵规模和所述第二数据的矩阵规模，确定第二稀疏度和第二误差范围；
[0013]基于所述第一数据的业务类型和所述第二数据的业务类型，确定第三稀疏度和第三误差范围；
[0014]基于所述第二稀疏度和所述第三稀疏度确定所述第一稀疏度，并且，基于所述第
二误差范围和所述第三误差范围确定所述第一误差范围。
[0015]可选的，所述方法包括：
[0016]根据所述第一误差范围和误差阈值，确定执行稀疏处理的目标数据；
[0017]若所述目标数据为所述第一数据，则，所述基于所述第一稀疏度对所述第一数据和/或所述第二数据进行稀疏处理，获得第三数据，包括：
[0018]基于所述第一稀疏度对所述第一数据进行稀疏处理，获得所述第三数据；
[0019]若所述目标数据为所述第二数据，则，所述基于所述第一稀疏度对所述第一数据和/或所述第二数据进行稀疏处理，获得第三数据，包括：
[0020]基于所述第一稀疏度对所述第二数据进行稀疏处理，获得所述第三数据；
[0021]若所述目标数据为所述第一数据和所述第二数据，则，所述基于所述第一稀疏度对所述第一数据和/或所述第二数据进行稀疏处理，获得第三数据，包括：
[0022]基于所述第一稀疏度对所述第一数据和所述第二数据进行稀疏处理，获得所述第三数据。
[0023]可选的，
[0024]若所述目标数据为所述第一数据，则，所述基于所述第一稀疏度对所述第一数据进行稀疏处理，获得所述第三数据，包括：
[0025]基于所述第一稀疏度对所述第一数据进行稀疏处理，获得第四数据；
[0026]基于所述第二数据和所述第四数据，获得所述第三数据；
[0027]若所述目标数据为所述第二数据，则，所述基于所述第一稀疏度对所述第二数据进行稀疏处理，获得所述第三数据，包括：
[0028]基于所述第一稀疏度对所述第二数据进行稀疏处理，获得第五数据；
[0029]基于所述第一数据和所述第五数据，获得所述第三数据；
[0030]若所述目标数据为所述第一数据和所述第二数据，则，所述基于所述第一稀疏度对所述第一数据和所述第二数据进行稀疏处理，获得所述第三数据，包括：
[0031]基于所述第一稀疏度对所述第一数据进行稀疏处理获得第四数据，并且，基于所述第一稀疏度对所述第二数据进行稀疏处理获得第五数据；
[0032]基于所述第四数据和所述第五数据获得所述第三数据。
[0033]可选的，若所述第三数据和所述待处理数据的误差不在所述第一误差范围内，所述方法还包括：
[0034]响应于对所述第一数据的矩阵规模和业务类型对应的稀疏度和误差范围的调整，基于所述第一数据的矩阵规模和业务类型以及所述第二数据的矩阵规模和业务类型，确定第四稀疏度和第四误差范围，所述第四稀疏度和所述第四误差范围为调整后与所述第一数据的矩阵规模和业务类型、以及所述第二数据的矩阵规模和业务类型对应的稀疏度和误差范围；
[0035]基于所述第四稀疏度对所述第一数据和/或所述第二数据进行稀疏处理，获得第六数据；
[0036]若所述第六数据和所述待处理数据的误差在所述第四误差范围内，保存所述第六数据，所述第六数据占用的空间小于所述待处理数据占用的空间。
[0037]第二方面，本申请实施例还提供了一种数据处理的装置，包括：
[0038]分解单元，用于对待处理数据进行分解，获得第一数据和第二数据；
[0039]第一确定单元，用于基于所述第一数据的矩阵规模和业务类型以及所述第二数据的矩阵规模和业务类型，确定第一稀疏度和第一误差范围；
[0040]第一处理单元，用于基于所述第一稀疏度对所述第一数据和/或所述第二数据进行稀疏处理，获得第三数据；
[0041]第一保存单元，用于若所述第三数据和所述待处理数据的误差在所述第一误差范围内，保存所述第三数据，所述第三数据占用的空间小于所述待处理数据占用的空间。
[0042]可选的，所述第一确定单元，包括：
[0043]第一确定子单元，用于基于所述第一数据的矩阵规模和所述第二数据的矩阵规模，确定第二稀疏度和第二误差范围；
[0044]第二确定子单元，用于基于所述第一数据的业务类型和所述第二数据的业务类型，确定第三稀疏度和第三误差范围；
[0045]第三确定子单元，用于基于所述第二稀疏度和所述第三稀疏度确定所述第一稀疏度，并且，基于所述第二误差范围和所述第三误差范围确定所述第一误差范围。
[0046]可选的，所述装置包括：
[0047]第二确定单元，用于根据所述第一误差范围和误差阈值，确定执行稀疏处理的目标数据；
[0048本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：对待处理数据进行分解，获得第一数据和第二数据；基于所述第一数据的矩阵规模和业务类型以及所述第二数据的矩阵规模和业务类型，确定第一稀疏度和第一误差范围；基于所述第一稀疏度对所述第一数据和/或所述第二数据进行稀疏处理，获得第三数据；若所述第三数据和所述待处理数据的误差在所述第一误差范围内，保存所述第三数据，所述第三数据占用的空间小于所述待处理数据占用的空间。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一数据的矩阵规模和业务类型以及所述第二数据的矩阵规模和业务类型，确定第一稀疏度和第一误差范围，包括：基于所述第一数据的矩阵规模和所述第二数据的矩阵规模，确定第二稀疏度和第二误差范围；基于所述第一数据的业务类型和所述第二数据的业务类型，确定第三稀疏度和第三误差范围；基于所述第二稀疏度和所述第三稀疏度确定所述第一稀疏度，并且，基于所述第二误差范围和所述第三误差范围确定所述第一误差范围。3.根据权利要求1所述的方法，其特征在于，所述方法包括：根据所述第一误差范围和误差阈值，确定执行稀疏处理的目标数据；若所述目标数据为所述第一数据，则，所述基于所述第一稀疏度对所述第一数据和/或所述第二数据进行稀疏处理，获得第三数据，包括：基于所述第一稀疏度对所述第一数据进行稀疏处理，获得所述第三数据；若所述目标数据为所述第二数据，则，所述基于所述第一稀疏度对所述第一数据和/或所述第二数据进行稀疏处理，获得第三数据，包括：基于所述第一稀疏度对所述第二数据进行稀疏处理，获得所述第三数据；若所述目标数据为所述第一数据和所述第二数据，则，所述基于所述第一稀疏度对所述第一数据和/或所述第二数据进行稀疏处理，获得第三数据，包括：基于所述第一稀疏度对所述第一数据和所述第二数据进行稀疏处理，获得所述第三数据。4.根据权利要求3所述的方法，其特征在于，若所述目标数据为所述第一数据，则，所述基于所述第一稀疏度对所述第一数据进行稀疏处理，获得所述第三数据，包括：基于所述第一稀疏度对所述第一数据进行稀疏处理，获得第四数据；基于所述第二数据和所述第四数据，获得所述第三数据；若所述目标数据为所述第二数据，则，所述基于所述第一稀疏度对所述第二数据进行稀疏处理，获得所述第三数据，包括：基于所述第一稀疏度对所述第二数据进行稀疏处理，获得第五数据；基于所述第一数据和所述第五数据，获得所述第三数据；若所述目标数据为所述第一数据和所述第二数据，则，所述基于所述第一稀疏度对所述第一数据和所述第二数据进行稀疏处理，获得所述第三数据，包括：
基于所述第一稀疏度对所述第一数据进行稀疏处理获得第四数据，并且，基于所述第一稀疏度对所述第二数据进行稀疏处理获得第五数据；基于所述第四数据和所述第五数据获得所述第三数据。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，若所述第三数据和所述待处理数据的误差不在所述第一误差范围内，所述方法还包括：响应于对所述第一数据的矩阵规模和业务类型对应的稀疏度和误差范围的调整，基于所述第一数据的矩阵规模和业务类型以及所述第二数据的矩阵规模和业务类型，确定第四稀疏度和第四误差范围，所述第四稀疏度和所述第四误差范围为调整后与所述第一数据的矩阵规模和业务类型、以及所述第二数据的矩阵规模和业务类型对应的稀疏度和误差范围；基于所述第四稀疏度对所述第一数据和/或所述第二数据进行稀疏处理，获得第六数据；若所述第六数据和所述待处理数据的误差在所述第四误差范围内，保存所述第六数据，所述第六数据占用的空间小于所述待处理数据占用的空间。6.一种数据处理的装置，其特征在于，包括：分解单元，用于对待处理数据进行分解，获得第一数...

【专利技术属性】
技术研发人员：杨千帆，赖俊宏，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：