【技术实现步骤摘要】
本专利技术属于数据处理领域，涉及数据湖技术，具体是一种基于生产场景数据的分析处理系统。
技术介绍
1、在企业发展过程中，信息化发展到一定阶段，会出现多个部门，每个部门都有各自数据，部门之间的数据往往都各自存储，各自定义；每个部门的数据就像一个个孤岛一样无法或者极其困难和企业内部的其他数据进行连接互动。这样的情况称为数据孤岛。
2、公开号为cn116680188a的专利技术专利申请公开了一种数据处理方法、装置、设备及计算机可读存储介质，该专利技术通过采集预设条件下的生产数据集，根据生产数据集中的业务参数类型生成目标场景的数据变化趋势报告，根据数据变化趋势报告构建所述目标场景的测试数据调用模板，从目标数据库中调用所述目标场景的测试数据集，基于测试数据集对目标场景进行性能压力测试；该专利技术在对生产数据集进行分析时，没有将多个部门的生产数据进行联合处理，可能会导致部门在进行生产任务时没有连通性，导致各业务部门之间的数据无法共享互通，无法提供足够的数据支撑，出现数据孤岛的情况。
3、本专利技术提供了基于智能球和声波定位的供热管道泄漏位置检测方法，以解决以上技术问题。
技术实现思路
1、本专利技术旨在至少解决现有技术中存在的技术问题之一；为此，本专利技术提出了一种基于生产场景数据的分析处理系统，用于解决现有技术中因没有对各部门的数据进行联合分析处理，导致出现数据孤岛的技术问题。
2、为实现上述目的，本专利技术的第一方面提供了一种基于生产场景数据的分析处理系
3、数据收集模块：用于收集场景数据、部门数据和生产数据；
4、数据湖构建模块：用于将部门数据进行分类合表得到数据湖；
5、合库设计模块：用于根据场景数据分别构建oltp架构和olap架构；基于oltp架构和olap架构与数据湖进行匹配获取使用数据库，通过使用数据库对生产数据进行分析处理。
6、优选的，所述将部门数据进行分类合表得到数据湖，包括：
7、提取部门数据；所述部门数据包括工作内容与工作类型；
8、设定统一的数据标准；根据工作类型将部门数据划分为业务数据和系统数据；基于数据标准将系统数据与业务数据的工作内容划分为若干系统子主题表和若干业务子主题，对若干系统子主题表和若干业务子主题表进行加密储存后组合得到数据湖。
9、优选的，所述基于数据标准将系统数据与业务数据的工作内容划分为若干系统子主题表和若干业务子主题表，包括：
10、提取系统数据、业务数据和数据标准；所述数据标准包括标准编码规则、标准数据格式和标准数据字典；
11、根据标准数据格式将系统数据和业务数据进行格式的规范，标准其数据命名、数据类型和数据长度；对所有系统数据和业务数据的编码进行标准化；将标准数据字典作为数据标准的规范作为改正参考；
12、识别系统数据和业务数据中工作内容的主题，并将各主题的数据进行汇总得到系统子主题表和业务子主题表。
13、优选的，所述对若干系统子主题表和若干业务子主题表进行加密储存后组合得到数据湖，包括：
14、提取系统子主题表和业务子主题表；
15、对系统子主题表和业务子主题表进行预处理，得到标准系统主题表和标准业务主题表；建立不同的权限模式，分别对不同工作类型的工作人员开放不同的权限模式；从标准系统主题表和标准业务主题表中筛选得到高安全性数据，通过区块链技术对高安全性数据进行保存加密，将加密后的数据加载到存储系统中；
16、构建初始化数据湖架构，通过数据处理平台将加密存储后的系统子主题表和业务子主题表整合进初始化数据湖架构中，并实时记录数据访问记录和操作记录。
17、优选的，所述对系统子主题表和业务子主题表进行预处理，包括：
18、提取系统子主题表和业务子主题表；
19、依次对系统子主题表和业务子主题表进行数据清洗、剔除重复项和异常项处理，对含有缺失值的系统子主题表和业务子主题表进行缺失项的补充，并根据数据字典检查数据的一致性和完整性。
20、优选的，所述根据场景数据分别构建oltp架构和olap架构，包括：
21、a1：提取场景数据；所述场景数据包括工作时效、工作数据量和操作类型；
22、a2：根据操作类型设置时效阈值与数据量阈值；所述操作类型包括业务操作与后台操作；
23、a3：判断工作时效是否大于等于时效阈值；是，则跳转至a4；否，则将对应场景数据标记为立即数据；
24、a4：判断工作数据量是否大于等于数据量阈值；是，则将对应场景数据标记为延缓数据；否，则将对应场景数据标记为立即数据；
25、构建初始oltp架构和初始olap架构，将立即数据输入至初始oltp架构中得到oltp架构，将延缓数据输入初始olap架构得到olap架构。
26、优选的，所述根据操作类型设置时效阈值与数据量阈值，包括：
27、提取操作类型；
28、将操作类型输入阈值模型中获取时效阈值与数据量阈值；其中，阈值模型基于神经网络模型构建。
29、优选的，所述阈值模型基于神经网络模型构建，包括：
30、从数据库中提取历史操作类型与对应的历史时效阈值和历史数据量阈值，将历史操作类型与对应的历史时效阈值和历史数据量阈值作为训练数据和检验数据，使用训练数据对神经网络模型进行训练，使用检验数据对训练完成后的神经网络模型进行检验，根据检验结果对神经网络模型进行参数调整，得到输入数据为操作类型，输出数据为对应的时效阈值与数据量阈值的阈值模型。
31、优选的，所述基于oltp架构和olap架构与数据湖进行匹配获取使用数据库，包括：
32、b1：在数据湖中匹配符合oltp架构和olap架构的数据；
33、b2：判断系统子主题表和业务子主题表是否符合oltp架构；是，则将对应系统子主题表和业务子主题表标记为tp匹配表；否，则跳转至b3；
34、b3：判断系统子主题表和业务子主题表是否符合olap架构；是，则将对应系统子主题表和业务子主题表标记ap匹配表；否，则将对应系统子主题表和业务子主题表标记为不匹配表；
35、构建高性能rds集群，所述rds集群包括主节点与从节点；
36、将tp匹配表与ap匹配表通过主节点和从节点进行传输并组合得到使用数据库。
37、优选的，所述通过使用数据库对生产数据进行分析处理，包括：
38、提取生产数据；所述生产数据包括当前工作内容和当前工作类型；
39、将生产数据输入使用数据库进行匹配，划分得到当前子主题表，将当前子主题表通过rds集群传输进数据湖中；
40、判断当前子主题表是否符合oltp架构和olap架构；是，则将当前子主题表输入对应的架构进行传输至对应工作部门；否，则将当前子主题本文档来自技高网...
【技术保护点】
1.一种基于生产场景数据的分析处理系统，其特征在于，包括：数据收集模块、数据湖构建模块和合库设计模块；
2.根据权利要求1所述的一种基于生产场景数据的分析处理系统，其特征在于，所述将部门数据进行分类合表得到数据湖，包括：
3.根据权利要求2所述的一种基于生产场景数据的分析处理系统，其特征在于，所述基于数据标准将系统数据与业务数据的工作内容划分为若干系统子主题表和若干业务子主题表，包括：
4.根据权利要求2所述的一种基于生产场景数据的分析处理系统，其特征在于，所述对若干系统子主题表和若干业务子主题表进行加密储存后组合得到数据湖，包括：
5.根据权利要求4所述的一种基于生产场景数据的分析处理系统，其特征在于，所述对系统子主题表和业务子主题表进行预处理，包括：
6.根据权利要求1所述的一种基于生产场景数据的分析处理系统，其特征在于，所述根据场景数据分别构建OLTP架构和OLAP架构，包括：
7.根据权利要求6所述的一种基于生产场景数据的分析处理系统，其特征在于，所述根据操作类型设置时效阈值与数据量阈值，包括：>
8.根据权利要求7所述的一种基于生产场景数据的分析处理系统，其特征在于，所述阈值模型基于神经网络模型构建，包括：
9.根据权利要求1所述的一种基于生产场景数据的分析处理系统，其特征在于，所述基于OLTP架构和OLAP架构与数据湖进行匹配获取使用数据库，包括：
10.根据权利要求1所述的一种基于生产场景数据的分析处理系统，其特征在于，所述通过使用数据库对生产数据进行分析处理，包括：
...【技术特征摘要】
1.一种基于生产场景数据的分析处理系统，其特征在于，包括：数据收集模块、数据湖构建模块和合库设计模块；
2.根据权利要求1所述的一种基于生产场景数据的分析处理系统，其特征在于，所述将部门数据进行分类合表得到数据湖，包括：
3.根据权利要求2所述的一种基于生产场景数据的分析处理系统，其特征在于，所述基于数据标准将系统数据与业务数据的工作内容划分为若干系统子主题表和若干业务子主题表，包括：
4.根据权利要求2所述的一种基于生产场景数据的分析处理系统，其特征在于，所述对若干系统子主题表和若干业务子主题表进行加密储存后组合得到数据湖，包括：
5.根据权利要求4所述的一种基于生产场景数据的分析处理系统，其特征在于，所述对系统子主题表和业务子主题表进行预处理，...
【专利技术属性】
技术研发人员：马跃，李安法，郭科，林海龙，
申请(专利权)人：东华软件智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。