一种新型的库结构数据构建方法技术

一种新型的库结构数据构建方法，包括竖结构数据库，其特征在于，竖结构数据库的构建方法包括：步骤一：建立至少一个关键字及至少一个分类标识的映射竖表；步骤二：将用户数据写入用户数据的分类标识在数据库中所对应的数据字段。本发明专利技术的有益效果是：解决了现有的计算机平台系统在处理数据时，提取漏掉的数据需要重新提取所有的数据的问题；提高了数据处理的速度及平台系统的可靠性；通过竖存储技术节省了存储空间。

【技术实现步骤摘要】
一种新型的库结构数据构建方法
本专利技术涉及数据处理领域，尤其涉及一种新型的库结构数据构建方法。
技术介绍
基于交易商细分和交易商精细化营销的需求已逐渐成为中药材市场变革的主要手段。目前针对大宗交易平台的数据管理和市场营销需求，通常由业务部门对各类经营指标进行分析，筛选出需要关注的业务指标，然后提交技术部门采集相关业务字段的具体清单，最后由技术部门依据业务部门所提的方案，对相关数据进行手工分析，输出结果。基于目前的数据分析流程，要经常应对下竖事件：1、业务部门所提的需求多样，通常需要跨越多系统采集数据，才能够满足业务部门的分析需求；2、针对多系统采集的数据，技术部门需要重新构建多系统关联的检索指标和属性后方可联机查询，输出业务部门需要的报表结果；3、针对业务部门的大数据需求，技术部门需要将输出后的报表结果转化为直观图形予以体现。现有技术中专利号：201610889114.5，公布了一种关系型数据库的数据集成结构，提供的一种关系型数据库的数据集成结构，实现了方便、快捷的从MySQL数据库到MySQL数据库、从Oracle数据库到MySQL数据库的数据集成减少了导入导出数据的工作量，使得数据同步工作更加简便、可控；专利号：201410818000.2，公布了一种数据库中的数据混合存储方法，为在复杂应用场景下的列存数据库提供了一种有效解决select*应用模型物化效率低下的方法，提高了列存数据库对于select*类型的查询效率，扩展了列存数据库的适用范围；减小了现有行列混合存储方式占用的空间，同时数据的压缩效率与列存储相差不多。现有技术对于关系型数据仍通过行存储存储数据并进行处理，仍需要跨越多系统进行采集，数据导入导出效率较低。
技术实现思路
本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种新型的库结构数据构建方法。为了实现上述目的，本专利技术采用了如下技术方案：一种新型的库结构数据构建方法，包括竖结构数据库，竖结构数据库的构建方法包括：步骤一：建立至少一个关键字及至少一个分类标识的映射竖表；步骤二：将用户数据写入用户数据的分类标识在数据库中所对应的数据字段。优选的，步骤一中包括获取至少一个关键字及至少一个分类标识，按照一个分类标识对应一个关键字的规则建立映射竖表优选的，至少一个关键字包括预设关键字，至少一个分类标识包括预设分类标识，预设位置是分类标识在数据字段中的存储位置。优选的，步骤二中获取用户数据及用户数据的关键字，根据用户数据的关键字在映射竖表中查找到用户数据的关键字对应的用户数据的分类标识，根据用户数据的分类标识将用户数据写入用户数据的分类标识在数据库中所对应的数据字段，并在用户数据的分类标识对应的数据字段的预设位置添加用户数据的分类标识。优选的，步骤二中还包括对写入的用户数据的筛选合并，合并方法包括：对分类标识所对应的值使用二进制格式存储；针对每个分类标识栏内的数据再细分为数据包，将栏位中重复的值打包进行再存储为新的分类标识。优选的，步骤二中用户数据写入用户数据的分类标识在数据库中所对应的数据字段前还包括用户数据的预处理，预处理包括数据清洗和去除冗杂数据，数据清洗用于去除无效数据。优选的，竖结构数据库中还包括数据清理，清理方法包括：获取清理条件和数据清理时间，数据清理时间为历史接收到数据清理请求时记录的时间，数据清理请求用于清理竖结构数据库中满足清理条件的数据；获取竖结构数据库中不满足清理条件的数据，以及满足清理条件但数据存储时间晚于所述数据清理时间的数据；在竖结构数据库中合并获取到的数据。优选的，清理条件的属性为分类标识。优选的，竖结构数据库中的分析引擎采用哈希索引和B-树的算法。优选的，竖结构数据库中采用双执行引擎和双存储引擎，双存储引擎包括竖存储引擎和行存储引擎，双执行引擎包括竖执行引擎和行执行引擎。本专利技术的有益效果是：1、解决了现有的计算机平台系统在处理数据时，提取漏掉的数据需要重新提取所有的数据的问题；2、提高了数据处理的速度及平台系统的可靠性；3、通过竖存储技术节省了存储空间。附图说明图1是本专利技术一种新型的库结构数据构建方法的构建方法流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。参照图1，一种新型的库结构数据构建方法，包括竖结构数据库，竖结构数据库的构建方法包括：步骤一：建立至少一个关键字及至少一个分类标识的映射竖表；步骤二：将用户数据写入用户数据的分类标识在数据库中所对应的数据字段。一种新型的库结构数据构建方法，步骤一中包括获取至少一个关键字及至少一个分类标识，按照一个分类标识对应一个关键字的规则建立映射竖表一种新型的库结构数据构建方法，至少一个关键字包括预设关键字，至少一个分类标识包括预设分类标识，预设位置是分类标识在数据字段中的存储位置。一种新型的库结构数据构建方法，步骤二中获取用户数据及用户数据的关键字，根据用户数据的关键字在映射竖表中查找到用户数据的关键字对应的用户数据的分类标识，根据用户数据的分类标识将用户数据写入用户数据的分类标识在数据库中所对应的数据字段，并在用户数据的分类标识对应的数据字段的预设位置添加用户数据的分类标识。一种新型的库结构数据构建方法，步骤二中还包括对写入的用户数据的筛选合并，合并方法包括：对分类标识所对应的值使用二进制格式存储；针对每个分类标识栏内的数据再细分为数据包，将栏位中重复的值打包进行再存储为新的分类标识。一种新型的库结构数据构建方法，步骤二中用户数据写入用户数据的分类标识在数据库中所对应的数据字段前还包括用户数据的预处理，预处理包括数据清洗和去除冗杂数据，数据清洗用于去除无效数据。一种新型的库结构数据构建方法，竖结构数据库中还包括数据清理，清理方法包括：获取清理条件和数据清理时间，数据清理时间为历史接收到数据清理请求时记录的时间，数据清理请求用于清理竖结构数据库中满足清理条件的数据；获取竖结构数据库中不满足清理条件的数据，以及满足清理条件但数据存储时间晚于所述数据清理时间的数据；在竖结构数据库中合并获取到的数据。一种新型的库结构数据构建方法，清理条件的属性为分类标识。一种新型的库结构数据构建方法，竖结构数据库中的分析引擎采用哈希索引和B-树的算法。一种新型的库结构数据构建方法，竖结构数据库中采用双执行引擎和双存储引擎，双存储引擎包括竖存储引擎和行存储引擎，双执行引擎包括竖执行引擎和行执行引擎。一种新型的库结构数据构建方法，通过构建方法获得的竖结构数据库应用方法包括：C1：通过竖存存储技术构建竖结构数据库，竖结构数据库作为业务部门的共享数据库；C2：在竖结构数据库上选取预设关键字，通过预设关键字在竖结构数据库中提取数据处理结果。一种新型的库结构数据的应用方法，竖结构数据库的应用方法还包括漏选下的补充方法，补充方法为：重新勾选补充关键字，重新输出需要的数据处理结果或清单，添加至上一数据处理结果或清单。实施例1一种新型的库结构数据构建方法，构建“竖结构数据库”，采用最新的竖存存储技术。竖结构数据库将作为业务部门的共享数据库分析人员只需要构思相关思路，在“竖结构数据库上”选取自己需要的关键字，即可进行相关数据汇总。如果本文档来自技高网...

【技术保护点】
1.一种新型的库结构数据构建方法，包括竖结构数据库，其特征在于，竖结构数据库的构建方法包括：步骤一：建立至少一个关键字及至少一个分类标识的映射竖表；步骤二：将用户数据写入用户数据的分类标识在数据库中所对应的数据字段。

【技术特征摘要】
1.一种新型的库结构数据构建方法，包括竖结构数据库，其特征在于，竖结构数据库的构建方法包括：步骤一：建立至少一个关键字及至少一个分类标识的映射竖表；步骤二：将用户数据写入用户数据的分类标识在数据库中所对应的数据字段。2.根据权利要求1所述的一种新型的库结构数据构建方法，其特征在于，步骤一中包括获取至少一个关键字及至少一个分类标识，按照一个分类标识对应一个关键字的规则建立映射竖表。3.根据权利要求2所述的一种新型的库结构数据构建方法，其特征在于，至少一个关键字包括预设关键字，至少一个分类标识包括预设分类标识，预设位置是分类标识在数据字段中的存储位置。4.根据权利要求1所述的一种新型的库结构数据构建方法，其特征在于，步骤二中获取用户数据及用户数据的关键字，根据用户数据的关键字在映射竖表中查找到用户数据的关键字对应的用户数据的分类标识，根据用户数据的分类标识将用户数据写入用户数据的分类标识在数据库中所对应的数据字段，并在用户数据的分类标识对应的数据字段的预设位置添加用户数据的分类标识。5.根据权利要求1所述的一种新型的库结构数据构建方法，其特征在于，步骤二中还包括对写入的用户数据的筛选合并，合并方法包括：对分类标识所对应的值使用二进制格式存储；针对每个分...

【专利技术属性】
技术研发人员：怀化，
申请(专利权)人：亳州中药材商品交易中心有限公司，
类型：发明
国别省市：安徽,34