用于数据中台的数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种用于数据中台的数据处理方法及装置，该方法包括：获取资产数据的标识信息以及与标识信息对应的属性信息；将标识信息写入目录库中，将属性信息写入属性库中；根据待查询业务信息，自目录库中提取与待查询业务信息对应的标识信息，并根据与待查询业务信息对应的标识信息自属性库中提取与待查询业务信息对应的属性信息。本发明专利技术可以保证同一份数据在该数据中台的数据存储结构中只需储存一份，避免出现冗余存储，从而造成存储资源的浪费。

Data processing method and device for data center

【技术实现步骤摘要】
用于数据中台的数据处理方法及装置
本专利技术涉及通信
，尤其涉及一种用于数据中台的数据处理方法及装置。
技术介绍
数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。现有的数据中台的数据存储结构主要分为三层：源信息库、统计库和资产库。其中，源信息库用于针对不同数据源分别构建，或者统一构建但隔离存储。统计库用于对数据进行关联重构，并进行分层统计。资产库用于针对不同应用专题或数据进行服务调用。在此种结构下，数据在不同的层次会有多份冗余存储，浪费存储资源。以用户出国留学为例，可能统计库和资产库中都会存储有该用户的姓名、性别、身份证号等身份信息，这就会造成冗余存储。
技术实现思路
本专利技术实施例提供一种用于数据中台的数据处理方法，用以保证同一份数据在该数据中台的数据存储结构中只需储存一份，避免出现冗余存储，从而造成存储资源的浪费，该方法包括：获取资产数据的标识信息以及与标识信息对应的属性信息；将标识信息写入目录库中，将属性信息写入属性库中；根据待查询业务信息，自目录库中提取与待查询业务信息对应的标识信息，并根据与待查询业务信息对应的标识信息自属性库中提取与待查询业务信息对应的属性信息。可选的，获取资产数据的标识信息以及与标识信息对应的属性信息，包括：采集待处理数据，所述待处理数据包括：资产数据和非资产数据；对待处理数据进行清洗处理，获取资产数据的标识信息以及与标识信息对应的属性信息。可选的，所述方法还包括：根据预设统计场景信息，获取与预设统计场景对应的标识信息，并根据与预设统计场景对应的标识信息自属性库中提取与预设统计场景对应的属性信息；对与预设统计场景对应的标识信息和属性信息进行汇总处理；对汇总结果进行清洗处理，获取统计标识信息和统计属性信息；将统计标识信息写入目录库中，将统计属性信息写入属性库中。可选的，目录库中设置有与资产数据对应的资产标签，属性库中设置有与属性信息对应的属性标签；根据待查询业务信息，自目录库中提取与待查询业务信息对应的标识信息，并根据与待查询业务信息对应的标识信息自属性库中提取与待查询业务信息对应的属性信息，包括：将待查询业务信息分别与目录库中的多个资产标签和属性库中的多个属性标签进行匹配，获取与待查询业务信息对应的资产标签和属性标签；根据资产标签自目录库中提取标识信息，并根据所述标识信息，自属性库中提取与属性标签对应的属性信息。本专利技术实施例还提供一种用于数据中台的数据处理装置，用以保证同一份数据在该数据中台的数据存储结构中只需储存一份，避免出现冗余存储，从而造成存储资源的浪费，该装置包括：信息获取模块，用于获取资产数据的标识信息以及与标识信息对应的属性信息；信息写入模块，用于将标识信息写入目录库中，将属性信息写入属性库中；信息查询模块，用于根据待查询业务信息，自目录库中提取与待查询业务信息对应的标识信息，并根据与待查询业务信息对应的标识信息自属性库中提取与待查询业务信息对应的属性信息。可选的，信息获取模块进一步用于：采集待处理数据，所述待处理数据包括：资产数据和非资产数据；对待处理数据进行清洗处理，获取资产数据的标识信息以及与标识信息对应的属性信息。可选的，所述装置还包括：统计模块，用于根据预设统计场景信息，获取与预设统计场景对应的标识信息，并根据与预设统计场景对应的标识信息自属性库中提取与预设统计场景对应的属性信息；汇总模块，用于对与预设统计场景对应的标识信息和属性信息进行汇总处理；清洗模块，用于对汇总结果进行清洗处理，获取统计标识信息和统计属性信息；写入模块，用于将统计标识信息写入目录库中，将统计属性信息写入属性库中。可选的，目录库中设置有与资产数据对应的资产标签，属性库中设置有与属性信息对应的属性标签；信息查询模块进一步用于：将待查询业务信息分别与目录库中的多个资产标签和属性库中的多个属性标签进行匹配，获取与待查询业务信息对应的资产标签和属性标签；根据资产标签自目录库中提取标识信息，并根据所述标识信息，自属性库中提取与属性标签对应的属性信息。本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。本专利技术实施例中，通过获取资产数据的标识信息以及与标识信息对应的属性信息，并将标识信息写入目录库中，将属性信息写入属性库中，当需要进行业务查询时，只需根据待查询业务信息，自目录库中提取与待查询业务信息对应的标识信息，并根据与待查询业务信息对应的标识信息自属性库中提取与待查询业务信息对应的属性信息即可。综上，本专利技术通过使用目录库和属性库的二级数据存储结构，保证了同一份数据在该数据中台的数据存储结构中只需储存一份，避免出现冗余存储，从而造成存储资源的浪费。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本专利技术实施例中用于数据中台的数据处理方法的流程图；图2为本专利技术实施例中用于数据中台的数据处理方法的又一流程图；图3为本专利技术实施例中用于数据中台的数据处理装置的结构示意图；图4为本专利技术实施例中用于数据中台的数据处理装置的又一结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。下面对本专利技术提到的部分名词进行解释说明：资产数据指的是：明确了价值、使用场景、生命周期、特征标签的数据。数据中台持久化存储的都是资产，非资产相关数据在清洗过程中直接丢弃。资产标识信息指的是：唯一标记出一项资产的ID，可以是数字、字符串等。例如，针对政务数据有自然人身份证号、地区编号、行政机关编号等。资产标签指的是：用于标记资产特征，且与数据服务和应用强相关的一系列标签。例如，针对政务数据有高收入人群、少数民族、事故多发路段等。资产属性指的是：资产相关的一系列特征项的集合。例如，针对自然人，有性别、籍贯、户口、最高学历、最近3次交税记录等。属性标签指的是：用于标记每份资产每个属性的特征、权限、相关业务、保密程度等与数据服务和应用强相关的一系列标签。例如，针对政务数据有南京市级政务相关本文档来自技高网...

【技术保护点】
1.一种用于数据中台的数据处理方法，其特征在于，包括：/n获取资产数据的标识信息以及与标识信息对应的属性信息；/n将标识信息写入目录库中，将属性信息写入属性库中；/n根据待查询业务信息，自目录库中提取与待查询业务信息对应的标识信息，并根据与待查询业务信息对应的标识信息自属性库中提取与待查询业务信息对应的属性信息。/n

【技术特征摘要】
1.一种用于数据中台的数据处理方法，其特征在于，包括：
获取资产数据的标识信息以及与标识信息对应的属性信息；
将标识信息写入目录库中，将属性信息写入属性库中；
根据待查询业务信息，自目录库中提取与待查询业务信息对应的标识信息，并根据与待查询业务信息对应的标识信息自属性库中提取与待查询业务信息对应的属性信息。


2.如权利要求1所述的方法，其特征在于，获取资产数据的标识信息以及与标识信息对应的属性信息，包括：
采集待处理数据，所述待处理数据包括：资产数据和非资产数据；
对待处理数据进行清洗处理，获取资产数据的标识信息以及与标识信息对应的属性信息。


3.如权利要求1所述的方法，其特征在于，还包括：
根据预设统计场景信息，获取与预设统计场景对应的标识信息，并根据与预设统计场景对应的标识信息自属性库中提取与预设统计场景对应的属性信息；
对与预设统计场景对应的标识信息和属性信息进行汇总处理；
对汇总结果进行清洗处理，获取统计标识信息和统计属性信息；
将统计标识信息写入目录库中，将统计属性信息写入属性库中。


4.如权利要求1所述的方法，其特征在于，目录库中设置有与资产数据对应的资产标签，属性库中设置有与属性信息对应的属性标签；
根据待查询业务信息，自目录库中提取与待查询业务信息对应的标识信息，并根据与待查询业务信息对应的标识信息自属性库中提取与待查询业务信息对应的属性信息，包括：
将待查询业务信息分别与目录库中的多个资产标签和属性库中的多个属性标签进行匹配，获取与待查询业务信息对应的资产标签和属性标签；
根据资产标签自目录库中提取标识信息，并根据所述标识信息，自属性库中提取与属性标签对应的属性信息。


5.一种用于数据中台的数据处理装置，其特征在于，包括：
信息获取模块，用于获取资产数据的标识信息以及与标识信息对应的...

【专利技术属性】
技术研发人员：毛恒，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：北京;11