一种钢铁产品生产过程大数据读取整合系统技术方案

本发明专利技术涉及一种钢铁产品生产过程大数据读取整合系统，包括：数据读取模块，用于读取任意类型数据库中任意生产过程数据表；数据整合模块，用于将每一类产品作为一个大类，将涉及该类产品的数据表作为该类的属性，根据上层应用系统的需求，能够新建增加属性，所有数据表与产品ID码相关联；数据测试模块，用于查看、检验数据读取、数据整合是否正确。以成品钢卷为核心，把全流程各工序数据读取并整合成“一条记录”，提供给上层应用系统，实现在上层应用系统和数据环境之间的高效连接。为钢铁工业的上层应用系统(质量监控系统、质量管理系统等)提供了高效便捷的途径获取产品生产过程的大数据，为钢铁行业的应用系统开发提升了效率。

【技术实现步骤摘要】
一种钢铁产品生产过程大数据读取整合系统
本专利技术属于钢铁工业大数据领域，具体涉及一种钢铁产品生产过程大数据读取整合系统。
技术介绍
在钢铁企业，为了满足用户需求和提升产品质量，企业会开发一些上层应用系统，比如用于监控产品生产过程数据状态的产品质量监控系统，用来监控产品的生产过程数据。技术和管理人员从类似的上层应用系统中根据钢卷的ID号就可以监控或查询到每卷钢的全流程生产过程数据。钢铁产品生产流程长，工序多且比较复杂，从铁水预处理开始到生产出钢卷成品需要经过数十个生产工序，每一工序又包括数百个工艺过程控制点。各控制数据点既有连续性数据，又有离散型数据；既有开关量数据，也有字符型数据；采样周期也是有长有短；数据来源多样，既有来自L1控制系统数据，也有来自L2工艺数据和L3生产计划数据。如何以成品钢卷为核心，把全流程各工序数据读取并整合成“一条记录”，实现在质量监控系统和数据环境之间的高效连接，是需要积极探索的。
技术实现思路
本专利技术的目的在于提供一种钢铁产品生产过程大数据读取整合系统，高效、便捷地将钢铁产品生产过程大数据读取、整合后提供给上层应用系统(产品质量监控系统)，在上层应用系统和数据环境之间创建有效的连接。本专利技术解决其技术问题所采用的技术方案是：一种钢铁产品生产过程大数据读取整合系统，包括：数据读取模块，用于读取任意类型数据库中任意生产过程数据表；数据整合模块，用于将每一类产品作为一个大类，将涉及该类产品的数据表作为该类的属性，根据上层应用系统的需求，能够新建增加属性，所有数据表与产品ID码相关联；数据测试模块，用于查看、检验数据读取、数据整合是否正确。进一步地，所述数据读取模块读取数据表时，根据业务需求对数据表进行分类：一类为直接读取原数据表数据；一类为对原数据进行计算处理转换后读取。进一步地，所述数据读取模块读取数据表包括表结构和表数据，并将每张数据表作为一种数据类型。进一步地，所述数据整合模块还能根据业务需要进行多种数据方案整合配置，每种方案配置都能存储为一个数据模型版本。进一步地，所述数据整合模块还为数据测试模块提供一个测试环境。进一步地，在数据测试模块中输入产品大类名称，测试模块将列出产品大类下所有属性，输入具体产品ID码，在每个属性下，会列出该ID码的具体数据值，用于检查数据整合是否正确。本专利技术具有以下有益效果：本专利技术大数据读取整合系统以成品钢卷为核心，把全流程各工序数据读取并整合成“一条记录”，提供给上层应用系统，实现在上层应用系统和数据环境之间的高效连接。为钢铁工业的上层应用系统(质量监控系统、质量管理系统等)提供了高效便捷的途径获取产品生产过程的大数据，为钢铁行业的应用系统开发提升了效率。附图说明图1为本专利技术钢铁产品生产过程大数据读取整合流程示意图。图2为本专利技术热轧产品类数据整合模型示意图。具体实施方式以下是本专利技术的具体实施例，对本专利技术的技术方案做进一步描述，但是本专利技术的保护范围并不限于这些实施例。凡是不背离本专利技术构思的改变或等同替代均包括在本专利技术的保护范围之内。一种钢铁产品生产过程大数据读取整合系统，包括数据读取模块、数据整合模块、数据测试模块。钢铁产品生产过程大数据读取整合流程示意图如图1所示。首先将数据读取整合系统与生产过程各工序环节的数据库接口进行链接，通过数据读取模块将产品生产过程各工序相关数据表读入数据读取整合系统，根据数据表数据内容的需要分为原表数据不做任何变动读取，或是需要对原表数据进行计算处理后读取，在读入数据时创建映射，赋予每个字段一个系统的数据类型，每张映射在系统中的数据表设置一个数据类型。数据整合模块将每一类产品作为一个大类，将涉及该类产品的数据表作为该类的属性，根据上层应用系统的需求，可以新建增加属性，所有数据表以产品ID码相关联。数据整合模块可以根据业务需要进行多种数据方案整合配置，每种方案配置都可以存储为一个数据模型版本。数据整合系统还提供了一个测试环境来测试结果。钢铁产品通常根据产品类型划分为热轧产品、冷轧产品、厚板产品等。本实施例以热轧产品为例，对热轧产品生产过程数据读取整合方法进行说明。根据上层应用系统的需求，需要把热轧产品生产过程每个工艺环节的过程数据以及所下发的生产指令数据读取上来，并以热轧产品的ID号为关键字段进行数据的匹配和关联。首先将数据读取整合系统与热轧产线各工序环节的数据库接口进行链接，将各热轧产品生产过程各工序相关数据表读入数据读取整合系统，根据数据表数据内容的需要分为原表数据不做任何变动读取，或是需要对原表数据进行计算处理后读取，在读入数据时创建映射，赋予每个字段一个系统的数据类型，每张映射在系统中的数据表设置一个数据类型。具体以热轧产品类为例，数据读取模块链接读取了热轧产品生产过程中各工艺环节的生产过程数据表，每张数据表都以产品ID作为关键字段，在数据整合模块中建立热轧产品大类HSM_Product,将读入的热轧产品相关数据表作为HSM_Product类的属性，通过产品的ID号进行数据关联。完成整合的热轧产品类数据列表如图2所示，在数据读取整合系统中可以将整合好的热轧产品类数据结构进行存储，存储为一个可被数据整合模块读取的数据模型文件，当热轧类产品数据整合需要增加或删减数据时，每一次对整合数据进行修改后，都可将新的整合数据结构进行存储，存储为新版本的数据模型文件，根据上层应用系统的需求，数据整合模块可读取不通版本的数据模型文件，为上层应用提供了高效的、便捷的数据整合模式。整合好的热轧产品类数据，可以通过数据测试模块在该系统中查看、检验数据读取、数据整合的是否正确。在数据测试模块中输入热轧产品大类名称HSM_Product，测试模块将列出热轧产品大类HSM_Product下所有属性，输入具体热轧产品ID码，在每个属性下，会列出该ID码的具体数据值，可以直观的检查数据整合的是否正确。本专利技术不局限于上述实施方式，任何人应得知在本专利技术的启示下作出的结构变化，凡是与本专利技术具有相同或相近的技术方案，均落入本专利技术的保护范围之内。本专利技术未详细描述的技术、形状、构造部分均为公知技术。本文档来自技高网...

【技术保护点】
1.一种钢铁产品生产过程大数据读取整合系统，其特征在于，包括：/n数据读取模块，用于读取任意类型数据库中任意生产过程数据表；/n数据整合模块，用于将每一类产品作为一个大类，将涉及该类产品的数据表作为该类的属性，根据上层应用系统的需求，能够新建增加属性，所有数据表与产品ID码相关联；/n数据测试模块，用于查看、检验数据读取、数据整合是否正确。/n

【技术特征摘要】
1.一种钢铁产品生产过程大数据读取整合系统，其特征在于，包括：
数据读取模块，用于读取任意类型数据库中任意生产过程数据表；
数据整合模块，用于将每一类产品作为一个大类，将涉及该类产品的数据表作为该类的属性，根据上层应用系统的需求，能够新建增加属性，所有数据表与产品ID码相关联；
数据测试模块，用于查看、检验数据读取、数据整合是否正确。


2.如权利要求1所述的钢铁产品生产过程大数据读取整合系统，其特征在于，所述数据读取模块读取数据表时，根据业务需求对数据表进行分类：一类为直接读取原数据表数据；一类为对原数据进行计算处理转换后读取。


3.如权利要求1所述的钢铁产品生产过程大数据读取整合系统，其特征在于...

【专利技术属性】
技术研发人员：崔健，焦吉成，孙卫华，曹金生，孙风晓，汤化胜，李率民，王宁国，王猛，魏宏雪，
申请(专利权)人：山东钢铁集团日照有限公司，
类型：发明
国别省市：山东;37