数据工单的管理方法及装置、电子设备及存储介质制造方法及图纸

本申请提供一种数据工单的管理方法及装置、电子设备及存储介质。管理方法包括：根据数据工单的特征信息确定数据工单的存储层级；根据数据工单对应的存储层级将数据工单存储于存储层级中；根据数据工单的存储层级确定数据工单的存储方式；根据数据工单对应的存储方式对数据工单的文件格式进行更新。本申请中，通过根据数据工单的特征信息确定数据工单的存储层级和存储方式，将数据工单以与存储层级对应的存储方式存储到对应的存储层级中，将相同用途的相似数据工单以合理的存储方式存储在同一个存储层级，可以有效缩短数据工单的查询时间，从而可以高效地读取需要查询的数据工单，进而可以更加高效地应用这些数据工单，提高数据工单的处理效率。高数据工单的处理效率。高数据工单的处理效率。

【技术实现步骤摘要】
数据工单的管理方法及装置、电子设备及存储介质


[0001]本申请涉及数据处理
，具体涉及一种数据工单的管理方法、数据工单的管理装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着大数据技术的不断发展，特别是大数据和云计算等科技在互联网、金融、电子商务等领域的广泛运用，大数据分析已经是金融领域的征信查询和风险评估的常用手段，在大数据运用于金融领域时，会产生大量的数据工单，如何更加高效地应用这些数据工单，提高数据工单的处理效率成为亟需解决的问题。

技术实现思路

[0003]为了解决上述问题，本申请提供一种数据工单的管理方法、数据工单的管理装置、电子设备及计算机可读存储介质。
[0004]第一方面，本申请实施方式提供一种数据工单的管理方法。数据工单的管理方法包括：根据数据工单的特征信息确定所述数据工单的存储层级；根据所述数据工单对应的所述存储层级将所述数据工单存储于所述存储层级中；根据所述数据工单的所述存储层级确定所述数据工单的存储方式；及根据所述数据工单对应的所述存储方式对所述数据工单的文件格式进行更新。
[0005]在一种可能的实施方式中，所述数据工单的特征信息包括以下至少一种：所述数据工单的数据源类型、主题域、及时间粒度，其中，所述数据源类型至少包括明细型数据、分类统计数据、及汇总数据，所述主题域为满足预设条件的不同数据主题的集合，每个所述数据主题对应一个分析领域，所述时间粒度至少包括分、时、天、周、月。
[0006]在一种可能的实施方式中，所述存储层级包括数据明细层和数据服务层，在所述数据工单的所述存储层级为所述数据明细层和所述数据服务层的情况下，在所述根据所述数据工单对应的所述存储方式对所述数据工单的文件格式进行更新之后，还包括：对所述数据工单进行压缩处理，并将压缩处理后的所述数据工单存储于对应的所述存储层级。
[0007]在一种可能的实施方式中，在所述存储方式为ORC文件存储格式或Parquet文件存储格式的情况下，所述对所述数据工单进行压缩处理，包括：采用Snappy压缩方式对所述数据工单进行压缩处理。
[0008]第二方面，本申请实施方式提供一种数据工单的管理装置。数据工单的管理装置包括：第一确定模块、存储模块、第二确定模块及更新模块。所述第一确定模块用于根据数据工单的特征信息确定所述数据工单的存储层级。所述存储模块用于根据所述数据工单对应的所述存储层级将所述数据工单存储于所述存储层级中。所述第二确定模块用于根据所述数据工单的所述存储层级确定所述数据工单的存储方式。所述更新模块用于根据所述数据工单对应的所述存储方式对所述数据工单的文件格式进行更新。
[0009]在一种可能的实施方式中，所述数据工单的特征信息包括以下至少一种：所述数
据工单的数据源类型、主题域、及时间粒度，其中，所述数据源类型至少包括明细型数据、分类统计数据、及汇总数据，所述主题域为满足预设条件的不同数据主题的集合，每个所述数据主题对应一个分析领域，所述时间粒度至少包括分、时、天、周、月。
[0010]在一种可能的实施方式中，所述管理装置还包括压缩模块，所述存储层级包括数据明细层和数据服务层，在所述数据工单的所述存储层级为所述数据明细层和所述数据服务层的情况下，在所述根据所述数据工单对应的所述存储方式对所述数据工单的文件格式进行更新之后，所述压缩模块用于：对所述数据工单进行压缩处理，并将压缩处理后的所述数据工单存储于对应的所述存储层级。
[0011]在一种可能的实施方式中，在所述存储方式为ORC文件存储格式或Parquet文件存储格式的情况下，所述压缩模块还用于：采用Snappy压缩方式对所述数据工单进行压缩处理。
[0012]第三方面，本申请实施方式提供一种电子设备。所述电子设备包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面所述的管理方法。
[0013]第四方面，本申请实施方式提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行如第一方面所述的管理方法。
[0014]本申请的数据工单的管理方法、数据工单的管理装置、电子设备及计算机可读存储介质中，通过根据数据工单的特征信息确定数据工单的存储层级，同时，结合数据工单的存储层级确定数据工单的存储方式，将数据工单以与存储层级对应的存储方式存储到对应的存储层级中，将相同用途的相似数据工单以合理的存储方式存储在同一个存储层级内，可以有效缩短数据工单的查询时间，从而可以高效地读取需要查询的数据工单，进而可以更加高效地应用这些数据工单，提高数据工单的处理效率。
附图说明
[0015]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本申请实施例提供的一种系统架构示意图；
[0017]图2为本申请实施例提供的一种数据工单管理系统的示意图；
[0018]图3为本申请实施例提供的一种数据工单的管理方法的流程图；
[0019]图4为本申请实施例提供的一种数据工单的管理装置的结构示意图；
[0020]图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0021]为了更好的理解本申请实施例的技术方案，先对本申请实施例可能涉及的系统架构进行介绍。请参见图1，为本申请实施例提供的一种系统架构示意图。该系统架构可以包
括：电子设备101和服务器102。其中，电子设备101和服务器102之间可以通过网络通信。网络通信可以基于任何有线和无线网络，包括但不限于因特网、广域网、城域网、局域网、虚拟专用网络(virtual private network，VPN)和无线通信网络等等。
[0022]本申请实施例不限定电子设备101和服务器102的数量，服务器102可同时为多个电子设备101提供服务。在本申请实施例中，服务器102可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器或者可以通过多个服务器组成的服务器集群来实现。
[0023]电子设备101可以是个人计算机(personal computer，PC)、笔记本电脑或智能手机，还可以是一体机、掌上电脑、平板电脑(pad)、或便捷式设备等具有应用安装功能的智能终端。PC端的电子设备101，例如一体机等，其操作系统可以包括但不限于Linux系统、Unix系统、Windows本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据工单的管理方法，其特征在于，包括：根据数据工单的特征信息确定所述数据工单的存储层级；根据所述数据工单对应的所述存储层级将所述数据工单存储于所述存储层级中；根据所述数据工单的所述存储层级确定所述数据工单的存储方式；及根据所述数据工单对应的所述存储方式对所述数据工单的文件格式进行更新。2.根据权利要求1所述的管理方法，其特征在于，所述数据工单的特征信息包括以下至少一种：所述数据工单的数据源类型、主题域、及时间粒度，其中，所述数据源类型至少包括明细型数据、分类统计数据、及汇总数据，所述主题域为满足预设条件的不同数据主题的集合，每个所述数据主题对应一个分析领域，所述时间粒度至少包括分、时、天、周、月。3.根据权利要求1所述的管理方法，其特征在于，所述存储层级包括数据明细层和数据服务层，在所述数据工单的所述存储层级为所述数据明细层和所述数据服务层的情况下，在所述根据所述数据工单对应的所述存储方式对所述数据工单的文件格式进行更新之后，还包括：对所述数据工单进行压缩处理，并将压缩处理后的所述数据工单存储于对应的所述存储层级。4.根据权利要求3所述的管理方法，其特征在于，在所述存储方式为ORC文件存储格式或Parquet文件存储格式的情况下，所述对所述数据工单进行压缩处理，包括：采用Snappy压缩方式对所述数据工单进行压缩处理。5.一种源数工单的管理装置，其特征在于，包括：第一确定模块，用于根据数据工单的特征信息确定所述数据工单的存储层级；存储模块，用于根据所述数据工单对应的所述存储层级将所述数据工单存储于所述存储层级中；第二确定模块，用于根据所述数据工单的所述存储层级确定所述数据工单...

【专利技术属性】
技术研发人员：练刚，欧阳张鹏，赵彦晖，耿心伟，曾源，
申请(专利权)人：深圳微众信用科技股份有限公司，
类型：发明
国别省市：