一种烟草工业批次全过程数据质量评价和改进的方法和装置制造方法及图纸

本发明专利技术公开了一种烟草工业批次全过程数据质量评价和改进的方法和装置，包括：数据采集阶段：采集生产环境数据、生产过程数据、生产设备工艺参数数据、生产过程质检数据；数据质量评估阶段：针对每类数据，计算与每类数据对应的至少一个数据评价指标，其中数据评价指标包括数据的完整性、准确性、一致性、及时性、唯一性、有效性以及稳定性7类数据评价指标，并根据7类数据评价指标计算采集数据的综合指标；数据质量诊断及改进阶段：当数据综合指标不满足健康条件时，则根据数据综合指标反向推测出问题的数据评价指标，并按照数据改进机制对出问题的那类数据评价指标对应的数据进行改进修正。该方法和装置能够实现对批次数据的评价、诊断和修正。

A Method and Device for Evaluating and Improving the Data Quality in the Whole Process of Tobacco Industry Batch

【技术实现步骤摘要】
一种烟草工业批次全过程数据质量评价和改进的方法和装置
本专利技术属于烟草工业批次管理
，具体属于一种烟草工业批次全过程数据质量评价和改进的方法和装置。
技术介绍
随着企业信息化、数字化、智能化的深入发展，数据已成为新的生产要素，并且在企业中体现出非常重要的作用。如何提高数据的可信度和可用度，发挥数据资产的价值，是实现传统行业数字化转型的关键问题。所谓批次管理系统，既是针对于物料流转过程中批次的管理系统。对于批次，因为需求的不同，所以会有不同的定义，也产生了不同的管理方式。总体来说，批次管理系统是企业实现产品全生命周期追溯、多维度分析和精细化管理的重要系统，是物料的流转过程中不可或缺的系统。数据质量是批次管理的核心基础。长期以来，由于企业合作生产跨度大、业务流程复杂、数据量大等因素，批次管理系统往往存在数据缺失不完整、数据不一致、数据反馈滞后不及时等问题。多数企业对自身与合作生产企业普遍采用基于数据不同特性的核查指标方式，从数据完整性、及时性、准确性、一致性等维度特性定义多个量化指标进行数据监控，但是数据监控体系不完善，众多指标难以宏观上反映整个数据的质量情况，难以对数据质量进行综合评估，无法提供辅助决策分析，且缺乏相应的诊断与改进机制。申请公布号CN101894319A的专利申请公开了一种烟草企业数据质量管理系统及方法，其包括：信息采集模块，用于收集质量规则管理和数据质量诊断所需要的各种原始信息；质量规则管理模块，用于管理所有对象在准确性、一致性、完整性、及时性、可获取性这五大质量度量方面所应遵循的质量规则；数据质量诊断模块，用于根据信息采集模块传递的数据、质量规则管理模块的质量规则定义和具体的数据质量诊断任务、定时进行数据质量诊断并生成质量诊断结果；数据质量报告模块，用于将数据质量诊断的结果信息以不同用户使用的方式传递给所述用户；数据质量处理模块，用于根据所述数据质量报告模块所列的待处理质量问题清单，按照级别高低处理质量问题。该数据质量管理系统虽然公开了通过对采集数据进行统计分析，以判断数据的质量，但是对数据的统计分析的手段很多，统计的指标也不尽相同以及指标具体的表征方式不同，导致最终评价的数据质量也会千差万别，因此数据质量管理系统中不清楚是否能实现对数据质量的准确评价，换句话说，该数据质量管理系统并没有公开对准确评价数据质量的技术手段。
技术实现思路
本专利技术的是提供一种烟草工业批次全过程数据质量评价和改进的方法和装置，该方法和装置能够综合烟草工业批次全过程数据的完整性、准确性、一致性、及时性、唯一性、有效性以及稳定性全面评估数据质量，并根据数据质量进行采集数据的修正。为实现上述专利技术目的，本专利技术提供以下技术方案：一方面，一种烟草工业批次全过程数据质量评价和改进的方法，包括以下过程：数据采集阶段：采集生产环境数据、生产过程数据、生产设备工艺参数数据、生产过程质检数据；数据质量评估阶段：针对每类数据，计算与每类数据对应的至少一个数据评价指标，其中数据评价指标包括数据的完整性、准确性、一致性、及时性、唯一性、有效性以及稳定性7类数据评价指标，并根据7类数据评价指标计算采集数据的综合指标；数据质量诊断及改进阶段：当数据综合指标不满足健康条件时，则根据数据综合指标反向推测出问题的数据评价指标，并按照数据改进机制对出问题的那类数据评价指标对应的数据进行改进修正，其中，数据改进机制包括：缺失数据的补录和回传、重复数据的清洗与校核、无效数据的剔除、逻辑错误的修正、不一致数据的处理、数据不及时的警告、数据大范围波动的限制。另一方面，一种烟草工业批次全过程数据质量评价和改进的装置，其特征在于，包括：数据采集模块：用于采集生产环境数据、生产过程数据、生产设备工艺参数数据、生产过程质检数据；数据质量评估模块：针对每类数据，计算与每类数据对应的至少一个数据评价指标，其中数据评价指标包括数据的完整性、准确性、一致性、及时性、唯一性、有效性以及稳定性7类数据评价指标，并根据7类数据评价指标计算采集数据的综合指标；数据质量诊断及改进模块：用于当数据综合指标不满足健康条件时，则根据数据综合指标反向推测出问题的数据评价指标，并按照数据改进机制对出问题的那类数据评价指标对应的数据进行改进修正，其中，数据改进机制包括：缺失数据的补录和回传、重复数据的清洗与校核、无效数据的剔除、逻辑错误的修正、不一致数据的处理、数据不及时的警告、数据大范围波动的限制。本专利技术实现对批次数据的采集、评估、诊断以及改进等过程实现了数据质量的管理，具体地，能够根据数据的7个评估指标以及数据的综合指标确定数据的质量，提升了计算数据质量的准确性，同时根据设定的健康条件对数据质量进行判断，对不健康的数据进行修正，保证了管理工业数据的质量。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。图1是批次全过程数据质量评价和改进的方法和装置实现的过程图；图2是批次管理数据质量评价体系示意图；图3是批次管理数据质量改进模块示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。本实施例提供了一种烟草工业批次全过程数据质量评价和改进的方法和装置，该方法和装置可以应用于烟草生产中。如图1所示，本实施例提供的烟草工业批次全过程数据质量评价和改进的方法包括以下过程：数据采集阶段，主要采集生产环境数据、生产过程数据、生产设备工艺参数数据、生产过程质检数据。一般情况下，主要是过生产设备、扫码设备、质检设备、环境检测设备等采集生产过程中的各类数据。在烟草生产过程中，涉及到：物资供应环节，主要是通过物资出入库扫码设备、包芯温度传感器等设备获得物资供应阶段的数据，如物资出入库批次数据、片烟包芯温度、虫情等；生产库存环节，主要是通过辅料配盘扫码设备、高架库固定扫码终端获得生产库中的库存数量、高架库出入批次数据；制叶投料环节，主要是通过制叶生产线及固定扫码终端等设备获得制叶阶段的相关数据，如片烟投料批次数据、出入叶片柜批次数据、真空回潮水分、加料温度、加料筒转速、切前润叶流量等；制丝生产环节，主要是通过制丝线及固定扫码终端获得制丝生产阶段的相关数据，如叶丝装箱、翻箱和烟丝装箱、翻箱等批次数据、出入叶丝、烟丝高架库批次数据、蒸汽压力、蒸汽体积流量、叶丝纯净度、热风温度等；滤棒生产环节，主要是通过滤棒成型机台、滤棒发射机、滤棒RFID终端获得滤棒生产阶段的相关数据，如滤棒生产数量、重量、滤棒装格出入滤棒高架库批次数据、滤棒发射到卷烟机批次数据、辊速比、滤棒硬度、滤棒圆周等。卷包投料环节，主要是通过卷包机台及手持扫码设备等获得卷包生产阶段的相关数据，如卷烟纸、水松纸、条盒、商标等最小包装单元的辅料的批次投料数据、缺嘴、漏气、轻端剔除、烙铁实际温度、主机速度、辅机速度、压花辊压力等；成品调拨环节，主要是通过手持扫码设备、固定扫码设备及RFID终端获得成品本文档来自技高网...

【技术保护点】
1.一种烟草工业批次全过程数据质量评价和改进的方法，包括以下过程：数据采集阶段：采集生产环境数据、生产过程数据、生产设备工艺参数数据、生产过程质检数据；数据质量评估阶段：针对每类数据，计算与每类数据对应的至少一个数据评价指标，其中数据评价指标包括数据的完整性、准确性、一致性、及时性、唯一性、有效性以及稳定性7类数据评价指标，并根据7类数据评价指标计算采集数据的综合指标；数据质量诊断及改进阶段：当数据综合指标不满足健康条件时，则根据数据综合指标反向推测出问题的数据评价指标，并按照数据改进机制对出问题的那类数据评价指标对应的数据进行改进修正，其中，数据改进机制包括：缺失数据的补录和回传、重复数据的清洗与校核、无效数据的剔除、逻辑错误的修正、不一致数据的处理、数据不及时的警告、数据大范围波动的限制。

【技术特征摘要】
1.一种烟草工业批次全过程数据质量评价和改进的方法，包括以下过程：数据采集阶段：采集生产环境数据、生产过程数据、生产设备工艺参数数据、生产过程质检数据；数据质量评估阶段：针对每类数据，计算与每类数据对应的至少一个数据评价指标，其中数据评价指标包括数据的完整性、准确性、一致性、及时性、唯一性、有效性以及稳定性7类数据评价指标，并根据7类数据评价指标计算采集数据的综合指标；数据质量诊断及改进阶段：当数据综合指标不满足健康条件时，则根据数据综合指标反向推测出问题的数据评价指标，并按照数据改进机制对出问题的那类数据评价指标对应的数据进行改进修正，其中，数据改进机制包括：缺失数据的补录和回传、重复数据的清洗与校核、无效数据的剔除、逻辑错误的修正、不一致数据的处理、数据不及时的警告、数据大范围波动的限制。2.如权利要求1所述的烟草工业批次全过程数据质量评价和改进的方法，其特征在于，所述完整性是指物资、生产、成品三个方面的数据是否完整，单位维度是否完整；具体地，完整性指标定义如下：其中，W为完整性指标，n为物料的总数，mi为第i个物料的实际投放量，m0i为第i个物料的理论投放量，ωi为第i个物料为自适应权重，且3.如权利要求1所述的烟草工业批次全过程数据质量评价和改进的方法，其特征在于，所述精确性是指数据在各个维度、频度方面的业务逻辑上是否准确，产品追溯的追溯链是否贯通，具体地，精确性定义为：其中，P为精确性指标。4.如权利要求1所述的烟草工业批次全过程数据质量评价和改进的方法，其特征在于，所述一致性是指上传到批次管理系统的数据与ERP系统的数据是否一致，具体地，一致性定义为：其中，C为一致性指标。5.如权利要求1所述的烟草工业批次全过程数据质量评价和改进的方法，其特征在于，所述及时性是指数据在业务过程中是否满足业务对数据的时效性需求，以及相关数据是否按照规定的更新频率进行上报；具体地，及时性定义为：其中，S为及时性，td为及时性约束规则定义的滞后时间，为平均上报周期，公式为：其中，tin为数据录入时间，toccur为数据发生时间，Nrecord为录入数据量，p为数据录入的次数，q为数据集的个数。6.如权利要求1所述的烟草工业批次全过程数据质量评价和改进的方法，其特征在于，所述唯一性是指跨企业批次管理过程中，数据不能重复上传并被记录，需要保证上传数据的唯一；具体地，唯一性定义为：其中，R1为唯一性，Nall为所有的批次编号，Nrepeat为重复的批次编号。7.如权利要求1所述的烟草工业批次全过程数据质量评价和改进的方法，其...

【专利技术属性】
技术研发人员：施桥，许小双，王宏铝，陆海龙，章志华，周之涵，谢海兵，方茂华，
申请(专利权)人：浙江中烟工业有限责任公司，
类型：发明
国别省市：浙江,33