一种从数据起源出发的数据处理方法及系统技术方案

本发明专利技术提供了一种从数据起源出发的数据处理方法及系统，包括：根据初始数据的数据起源，确定数据分类的分类维度；根据所述初始数据的维度属性，对所述初始数据进行数据类型划分，得到维度数据；根据所述维度数据的类型属性，对所述维度数据进行数据名称命名，得到数据类型名称；本发明专利技术通过从数据起源出发确定数据分类的分类维度，保证分类维度能够涵盖所有的数据，通过根据维度属性，对数据进行划分，保证数据划分的完整性和单一性，根据类型属性，确定合适的数据名称，保证了对数据的查询效率和准确性，最终提高对数据的有效利用和挖掘。最终提高对数据的有效利用和挖掘。最终提高对数据的有效利用和挖掘。

【技术实现步骤摘要】
一种从数据起源出发的数据处理方法及系统


[0001]本专利技术涉及数据处理和应用领域，特别涉及一种从数据起源出发的数据处理方法及系统。

技术介绍

[0002]当今社会处于一个高速发展的阶段，随之带来的数据也在与日俱增。数据已经渗透到各行各业，数据范围几乎覆盖了人类的日常行为活动。面对大量的数据，人们开始对其进行挖掘和运用，力求从数据中发现各种商业价值、学术价值等。然而，想充分地、有效地利用数据，挖掘数据以及提炼数据中蕴藏的价值不是一件简单容易的事情，首先就会面临目前市面上都有哪些类型的数据问题，当前数据维度是否已经涵盖全部类型的数据问题。面对数据分类不清楚的情况下，使用数据就如同“盲人摸象”，或不清楚整体数据类型都有哪些，或以偏概全的认为当前掌握的数据类型就是全量数据分类。因此，如何对当前市面上海量的数据做科学的分类，同时对这些分类给予合理的命名已经成为迫在眉睫的事情。只有把一堆杂乱无章的数据做好分门别类，才能展露出数据的全面貌，同时根据需求在不同的数据分类模块中寻找到有效的数据，进而最大程度的挖掘数据在研究领域蕴含的价值。
[0003]传统的数据处理方法中，首先，对获取得到数据的分类存在不够精细，无法对全部的数据进行归类；其次，在对数据进行划分时，可能存在同一类数据被划分为多个分类中的情况；最后，在对数据的分类名称进行定义，可能存在不恰当的命名，导致对数据的查找困难；最终导致无法对数据进行有效利用和挖掘。

技术实现思路

[0004]本专利技术提供一种从数据起源出发的数据处理方法及系统，从数据源角度对数据进行分类和命名，保证数据划分的完整性和单一性，保证对数据的准确查询。
[0005]一种从数据起源出发的数据处理方法，包括：
[0006]步骤1：根据初始数据的数据起源，确定数据分类的分类维度；
[0007]步骤2：根据所述初始数据的维度属性，对所述初始数据进行数据类型划分，得到维度数据；
[0008]步骤3：根据所述维度数据的类型属性，对所述维度数据进行数据名称命名，得到数据类型名称。
[0009]优选的，步骤1之前，还包括：获取所述初始数据的数据起源，包括：
[0010]获取所述初始数据经过的临近数据采集节点，并根据临近数据采集节点的时间戳，获取所述初始数据经过的前一个数据采集节点；
[0011]根据所述前一个数据采集节点的时间戳，对所述初始数据进行溯源，得到所述初始数据的初始采集节点；
[0012]基于所述初始采集节点的时间戳，确定所述初始数据的数据起源。
[0013]优选的，步骤1中，根据初始数据的数据起源，确定数据分类的分类维度包括：
[0014]根据对所述初始数据的应用需求，确定分类角度；
[0015]从维度数据库中提取于所述分类角度一致的初始维度，并基于所述应用需求的重点，从所述初始维度中选取预设数目个目标维度；
[0016]建立所述目标维度在所述分类角度下的维度分布图，并判断所述维度分布图是否涵盖所述分类角度的所有方面；
[0017]若是，确定所述目标维度为进行数据分类的分类维度；
[0018]否则，确定缺失方面，并为所述缺失方面匹配最优的维度作为补充维度，将所述补充维度和目标维度共同组成进行数据分类的分类维度。
[0019]优选的，根据对所述初始数据的应用需求，确定分类角度，包括：
[0020]提取所述应用需求中的关键词，并为每一个关键词匹配对应的初始分类角度；
[0021]选取数量最多的初始分类角度作为所述初始数据的分类角度。
[0022]优选的，步骤2中，根据所述初始数据的维度属性，对所述初始数据进行数据类型划分，得到维度数据，包括：
[0023]基于所述分类维度的特点，设置在每个所述分类维度下的分析点和每个分析点的权重；
[0024]基于所述分类维度的分析点及其对应的权重，设置属性确定模型；
[0025]将所述初始数据输入所述属性确定模型中，确定所述初始数据的维度属性；
[0026]获取与所述维度属性对应的初始维度，作为所述初始数据的维度，得到对应的维度数据。
[0027]优选的，基于所述分类维度的分析点及其对应的权重，设置属性确定模型，包括：
[0028]基于所述分类维度，设定通道个数以及每个通道对应的属性，并基于所述通道个数和每个通道对应的属性，构建通道模型；
[0029]对所述分类维度的分析点进行分析，确定所述分析点之间的关联特征和分析顺序；
[0030]从数据分析库中获取与所述分析点对应的初始分析方式，并根据所述关联特征，选取存在关联的初始分析方式；
[0031]对所述存在关联的初始分析方式进行拆分确定子分析规则，选择所述存在关联的初始分析方式中的相同子分析规则，并确定所述相同子分析规则在所述初始分析方式中的位置；
[0032]基于所述相同子分析规则和位置，对存在关联的初始分析方式进行合并和简化，得到目标分析方式；
[0033]基于所述分析顺序，建立所述目标分析方式的分析流程，并获取与所述分析流程对应的分析资源，且基于所述分析资源，构建分析层；
[0034]基于所述分析点对应的权重，设置对应的计算规则，并基于所述计算规则构建评分层；
[0035]基于所述分析点对应的权重，建立所述分析层和评分层的第一连接关系；
[0036]将所述分析层和评分层，根据所述第一连接关系，在所述通道模型中建立数据分析规则；
[0037]所述通道模型中的每个通道与输出层进行连接；
[0038]所述输出层包括评分比较层，用于对每个通道的输出评分进行比较，并选取出最大评分值；
[0039]所述输出层还包括属性输出层，用于确定最大评分值对应的通道的属性，作为最终初始数据的维度属性；
[0040]基于所述通道模型和输出层，建立属性确定模型。
[0041]优选的，将所述初始数据输入所述属性确定模型中，确定所述初始数据的维度属性，包括：
[0042]将所述初始数据输入所述属性确定模型中，得到输出维度；
[0043]判断所述输出维度是否为一个维度；
[0044]若是，将所述输出维度作为所述初始数据的维度属性；
[0045]否则，确定所述输出维度包含的每个维度的维度特征，并基于所述维度特征，获取所有维度之间的相关特征；
[0046]基于所述相关特征，从所述分析点中获取所述初始数据的相关分析点，选取所述初始数据在所述相关分析点的评分最高所对应的输出维度，作为所述初始数据的维度属性。
[0047]优选的，步骤3中，根据所述维度数据的类型属性，对所述维度数据进行数据名称命名，得到数据类型名称，包括：
[0048]根据所述维度数据的类型属性，确定在所述类型属性下的名称关键词；
[0049]根据所述维度数据在历史应用中的应用需求，确定所述维度数据的应用关键词；
[0050]其中，所述名称关键词本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种从数据起源出发的数据处理方法，其特征在于，包括：步骤1：根据初始数据的数据起源，确定数据分类的分类维度；步骤2：根据所述初始数据的维度属性，对所述初始数据进行数据类型划分，得到维度数据；步骤3：根据所述维度数据的类型属性，对所述维度数据进行数据名称命名，得到数据类型名称。2.根据权利要求1所述的一种从数据起源出发的数据处理方法，其特征在于，步骤1之前，还包括：获取所述初始数据的数据起源，包括：获取所述初始数据经过的临近数据采集节点，并根据临近数据采集节点的时间戳，获取所述初始数据经过的前一个数据采集节点；根据所述前一个数据采集节点的时间戳，对所述初始数据进行溯源，得到所述初始数据的初始采集节点；基于所述初始采集节点的时间戳，确定所述初始数据的数据起源。3.根据权利要求1所述的一种从数据起源出发的数据处理方法，其特征在于，步骤1中，根据初始数据的数据起源，确定数据分类的分类维度包括：根据对所述初始数据的应用需求，确定分类角度；从维度数据库中提取于所述分类角度一致的初始维度，并基于所述应用需求的重点，从所述初始维度中选取预设数目个目标维度；建立所述目标维度在所述分类角度下的维度分布图，并判断所述维度分布图是否涵盖所述分类角度的所有方面；若是，确定所述目标维度为进行数据分类的分类维度；否则，确定缺失方面，并为所述缺失方面匹配最优的维度作为补充维度，将所述补充维度和目标维度共同组成进行数据分类的分类维度。4.根据权利要求3所述的一种从数据起源出发的数据处理方法，其特征在于，根据对所述初始数据的应用需求，确定分类角度，包括：提取所述应用需求中的关键词，并为每一个关键词匹配对应的初始分类角度；选取数量最多的初始分类角度作为所述初始数据的分类角度。5.根据权利要求1所述的一种从数据起源出发的数据处理方法，其特征在于，步骤2中，根据所述初始数据的维度属性，对所述初始数据进行数据类型划分，得到维度数据，包括：基于所述分类维度的特点，设置在每个所述分类维度下的分析点和每个分析点的权重；基于所述分类维度的分析点及其对应的权重，设置属性确定模型；将所述初始数据输入所述属性确定模型中，确定所述初始数据的维度属性；获取与所述维度属性对应的初始维度，作为所述初始数据的维度，得到对应的维度数据。6.根据权利要求5所述的一种从数据起源出发的数据处理方法，其特征在于，基于所述分类维度的分析点及其对应的权重，设置属性确定模型，包括：基于所述分类维度，设定通道个数以及每个通道对应的属性，并基于所述通道个数和每个通道对应的属性，构建通道模型；
对所述分类维度的分析点进行分析，确定所述分析点之间的关联特征和分析顺序；从数据分析库中获取与所述分析点对应的初始分析方式，并根据所述关联特征，选取存在关联的初始分析方式；对所述存在关联的初始分析方式进行拆分确定子分析规则，选择所述存在关联的初始分析方式中的相同子分析规则，并确定所述相同子分析规则在所述初始分析方式中的位置；基于所述相同子分析规则和位置，对存在关联的初始分析方式进行合并和简化，得到目标分析方式；基于所述分析顺序，建立所述目标分析方式的分析流程，并获取与所述分析流程对应的分析资源，且基于所述分析资源，构建分析层；基于所述分析点对应的权重，设置对应的计算规则，并基于所述计算规则构建评分层；基于所述分析点对应的权重，建立所述分析层和评分层的第一连接关系；将所述分析层和评分层，根据所述第一连接关系，在所述通道模型中建立数据分析规则；所述通道模型中的每个通道与输出层进行连接；所述输出层包括评分比较层，用于对每个通道的输出评分进行比较，并选取出最大评分值；所述输出层还包括属性输出层，...

【专利技术属性】
技术研发人员：王世今，莫卉星，刘珂杭，高铭，武欢欢，
申请(专利权)人：睿智合创北京科技有限公司，
类型：发明
国别省市：