基于python技术的生产数据处理方法技术

本发明专利技术公开了一种基于python技术的生产数据处理方法，本发明专利技术的主要设计构思在于，通过python编程技术获取用户查询请求，自动爬取mes质量数据并进行优质及非优质分组，利用优质数据对标准数据进行扩充后训练数据模型，再结合非优质数据可确定出导致优质与非优质在深层原因，最后可根据分析结果进行汇总并形成可读质量经验库。本发明专利技术结合python编程技术在信息爬取和大数据分析领域取得的成熟发展，使用其第三方安装包诸如flask、echarts等并基于烟企mes系统中实际生产情况，建立出一套全自动、智能化的质量数据分析机制，既能快速准确地深掘影响质量提升的主因并形成质量经验库，助力烟企高质量发展，又能降低质量分析人员的劳动强度与错误率。劳动强度与错误率。劳动强度与错误率。

【技术实现步骤摘要】
基于python技术的生产数据处理方法


[0001]本专利技术涉及卷烟工业数据质量管控领域，尤其涉及一种基于python技术的生产数据处理方法。

技术介绍

[0002]目前，卷烟工业制丝车间已普遍采用mes系统、数采系统进行质量数据监控，该系统能够高效、准确提供生产批次得分情况，用于部门、工厂质量考核，但深层次的质量异常分析工作仍需人工搜索实时生产数据进行更深层次的数据挖掘工作。
[0003]而随着车间烟丝产量增长、牌号增加，待分析数据量也是增长迅速，人工分析劳动强度增大，分析效率与分析准确性逐渐下滑，因而，使用新兴信息化技术手段实现全自动、智能化质量数据分析，精准、快速定位质量异常批次产生原因，已经属于烟企数字化质量管控领域亟待解决的问题。

技术实现思路

[0004]鉴于上述，本专利技术旨在提供一种基于python技术的生产数据处理方法，以解决烟企数字化质量管控效率低、准确性差的问题。
[0005]本专利技术采用的技术方案如下：
[0006]一种基于python技术的生产数据处理方法，其中包括：
[0007]在用户登录后，获取用户选定的待分析样本的查询信息，并向后台传送字符串形式的所述查询信息；
[0008]根据所述查询信息，使用基于python的网络爬虫技术爬取mes系统网页上的生产数据，并将爬取到的生产数据作为样本数据进行临时存储；
[0009]按预设机制将所述样本数据划分为优质组数据及非优质组数据；
[0010]利用所述优质组数据扩充预设的标准样本数据；
[0011]利用扩充后的标准样本数据对预建的数据模型进行实时训练，所述数据模型用于确定并表征标准样本数据的特性；
[0012]将所述非优质组数据与所述数据模型结合进行非优质分析，并统计、提取出非优质共性信息；
[0013]利用分析结果构建出数据质量经验库。
[0014]在其中至少一种可能的实现方式中，所述预设机制包括：按照爬取到的生产数据中的的批次得分与预设的优质得分对标，根据对标结果将爬取到的生产数据划分为优质、非优质两组数据。
[0015]在其中至少一种可能的实现方式中，所述非优质分析包括：在数据分析过程中，使用python的flask及echarts技术进行可视化展示。
[0016]在其中至少一种可能的实现方式中，所述查询信息包括时间区间以及补充查询信息，所述补充查询信息包括如下一种或多种：班组、牌号或批次。
[0017]在其中至少一种可能的实现方式中，所述利用分析结果构建出数据质量经验库包括：将质量分析结果套用既定的模板生成可读的质量知识；存储可读的质量知识，以供形成数据质量经验库。
[0018]在其中至少一种可能的实现方式中，所述数据处理方法还包括：获取主登录界面上由用户输入的账号及密码信息，并将输入信息与预存储的用户信息进行比对校验后，发出登录请求。
[0019]在其中至少一种可能的实现方式中，所述据处理方法还包括：在接收所述登录请求后，使用python的flask技术转换显示页面，以通过路径路由方式反馈正确页面。
[0020]本专利技术的主要设计构思在于，通过python编程技术获取用户查询请求，自动爬取mes质量数据并进行优质及非优质分组，利用优质数据对标准数据进行扩充后训练数据模型，再结合非优质数据可确定出导致优质与非优质在深层原因，最后可根据分析结果进行汇总并形成可读质量经验库。本专利技术结合python编程技术在信息爬取和大数据分析领域取得的成熟发展，使用其第三方安装包诸如flask、echarts等并基于烟企mes系统中实际生产情况，建立出一套全自动、智能化的质量数据分析机制，既能快速准确地深掘影响质量提升的主因并形成质量经验库，助力烟企高质量发展，又能降低质量分析人员的劳动强度与错误率。
附图说明
[0021]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步描述，其中：
[0022]图1为本专利技术实施例提供的基于python技术的生产数据处理方法的流程图。
具体实施方式
[0023]下面详细描述本专利技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。
[0024]本专利技术提出了一种基于python技术的生产数据处理方法的实施例，具体来说，如图1所示，其中包括：
[0025]步骤S1、在用户登录后，获取用户选定的待分析样本的查询信息，并向后台传送字符串形式的所述查询信息，其中，所述查询信息包括时间区间；具体地，可在相关界面中通过laydate插件选取到需质量分析的时间段(如：开始时间2021
‑2‑
1结束时间2021
‑5‑
6)，并可进一步地，通过input、section标签获取用户输入的补充查询信息，如班组、牌号、批次等。
[0026]步骤S2、根据所述查询信息，使用基于python的网络爬虫技术爬取mes系统网页上的生产数据(例如但不限于批次得分、各工艺指标数据等)，并将爬取到的生产数据作为样本数据进行临时存储；具体地，可通过requests包等使用xpath方式获取已选的时间区间内mes网页上的生产数据，并按用户提交的查询信息进行筛选。
[0027]步骤S3、按预设机制将所述样本数据划分为优质组数据及非优质组数据；具体地，可按照获得的批次得分与优质得分对标，自动将爬取的样本数据划分为优质、非优质两组。
[0028]步骤S4、利用所述优质组数据扩充预设的标准样本数据。
[0029]步骤S5、利用扩充后的标准样本数据对预建的数据模型进行实时训练，所述数据模型用于确定并表征标准样本数据的特性。
[0030]步骤S6、将所述非优质组数据与所述数据模型结合进行非优质主因分析，并统计提取出非优质共性信息；在数据分析过程中，还可以使用python的flask+echarts技术进行可视化展示，例如但不限于使用echarts插件进行图表显示。
[0031]步骤S7、利用分析结果构建数据质量经验库；具体地，可将质量分析结果套用既定的模板，生成可读的质量知识，并可存储至mysql数据库，以供形成数据质量经验库。
[0032]进一步地，所述数据处理方法还包括：获取主登录界面上由用户输入的账号及密码信息，并将输入信息与后台存储的用户信息进行比对校验后，发出登录请求。
[0033]进一步地，所述据处理方法还包括：接收所述登录请求，并使用python的flask技术转换显示页面，以通过路径路由方式反馈正确页面。
[0034]此外，在实际操作中，可由客户端、服务器的配合实现上述方法方案的实施，其中客户端上可安装有客户端软件，服务器上则可部署python环境，并使用tornado作为web接口。对于前述实施例的硬件实现方式本专利技术不作限本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于python技术的生产数据处理方法，其特征在于，包括：在用户登录后，获取用户选定的待分析样本的查询信息，并向后台传送字符串形式的所述查询信息；根据所述查询信息，使用基于python的网络爬虫技术爬取mes系统网页上的生产数据，并将爬取到的生产数据作为样本数据进行临时存储；按预设机制将所述样本数据划分为优质组数据及非优质组数据；利用所述优质组数据扩充预设的标准样本数据；利用扩充后的标准样本数据对预建的数据模型进行实时训练，所述数据模型用于确定并表征标准样本数据的特性；将所述非优质组数据与所述数据模型结合进行非优质分析，并统计、提取出非优质共性信息；利用分析结果构建出数据质量经验库。2.根据权利要求1所述的基于python技术的生产数据处理方法，其特征在于，所述预设机制包括：按照爬取到的生产数据中的的批次得分与预设的优质得分对标，根据对标结果将爬取到的生产数据划分为优质、非优质两组数据。3.根据权利要求1所述的基于python技术的生产数据处理方法，其特征在于，所述非优质分析...

【专利技术属性】
技术研发人员：曹海涛，李耀锋，李松，李锋涛，柴亚杰，于建华，
申请(专利权)人：河南中烟工业有限责任公司，
类型：发明
国别省市：