一种计算机硬件库存缺件风险识别和预警的方法和系统技术方案

本发明专利技术涉及计算机硬件库存缺件风险识别和预警的方法和系统，是利用人工智能领域深度学习的技术领域。本发明专利技术利用LSTM和CN技术，结合了LSTM预测长时间序列以及CNN有效地捕获数据空间特征的能力，提出了CNN与LSTM组合的混合神经网络模型，能够对长时间序列数据进行短期与长期的回归分析，并采用Croston提出的分类方法，对间歇性需求数据用平均时间间和变异系数的平，将聚合后的耗用数据分为光滑、弹性、平稳以及块状共四类，对每种类型的数据分别构建不同结构的模型进行预测。建不同结构的模型进行预测。

【技术实现步骤摘要】
一种计算机硬件库存缺件风险识别和预警的方法和系统


[0001]本专利技术涉及计算机硬件库存缺件风险识别和预警的方法和系统，是利用人工智能领域深度学习的


技术介绍

[0002]供应链是多环节、多通道的一种复杂的系统，面对复杂多变的市场因素，能提前准确地预测供应链仓库节点未来可能发生的库存缺件风险，是目前常规方法难以做到的。传统企业的库存风险控制主要是进行库存管理与优化，一般采用定量订货法、定期订货法对独立需求库存进行控制，通过MRP(物料需求计划)系统对相关需求库存进行控制。从供应链管理的角度来看，传统库存风险控制方法只能实现企业生产运作供应链局部库存的优化，不能实现整体供应链环节库存的全局优化，其核心思想是库存补充，即库存消耗以后，立即补货，以高库存为代价应对供需的不确定性，这也暴露出传统库存风险控制的方法不能提前预测到未来的库存消耗量，而且库存绩效指标的设置上，一般基于单个部门，没有考虑到供应链的整体绩效。伴随着信息时代的发展，很多企业的库存风险控制策略变为使用VMI，EDI，ERP，Internet/Intranet等一些常规手段来实现供应链的互联，减少信息孤岛，实现信息的共享，加快信息的反馈，减少信息的流通环节，建立信息传递渠道，使供应链所要求的数据信息尽可能地完整、可靠、安全和及时，但这些方法也存在一些局限性，因为供应链是多环节、多通道的一种复杂的系统，单纯依靠信息互通以及常规的分析方法往往难以预测和避免发生一些风险事件，所以目前大多数企业在供应链库存风险控制上只能对未来可能发生的风险提早制定一些应变措施，用于在风险发生以后，将损失控制在企业能接受的范围之内，所以当风险发生后，企业能做的也只有对损失、后果进行补偿，为时已晚。
[0003]除了上述对库存风险因素识别和风险控制策略以外，很多企业对自身生产运营过程中产生的库存耗用数据普遍缺乏系统性的存储标准，导致主要或是重要数据不完整或丢失，在当今大数据时代，企业如果缺乏本行业的专业数据支撑，对企业未来战略性发展非常不利。很多有大数据部门的企业，通常从大数据中获取所需数据后，仍然需要使用Python或者R语言对数据进行二次加工、处理，才能符合程序所需的样本数据标准，随之业务数据的快速增长，数据的ETL清洗工作会变得更加复杂，从而影响整个系统的稳定性。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供一种基于深度学习和大数据的计算机硬件库存缺件风险识别和预警方法，利用LSTM(Long Short
‑
Term Memory长短期记忆网络)和CNN(Convolutional Neural Network卷积神经网络)技术，结合了LSTM预测长时间序列以及CNN有效地捕获数据空间特征的能力，提出了CNN与LSTM组合的混合神经网络模型，能够对长时间序列数据进行短期与长期的回归分析，并采用Croston提出的分类方法，对间歇性需求数据用平均时间间隔(ADI)和变异系数的平方(CV2)，将聚合后的耗用数据分为光滑、弹性、平稳以及块状共四类，对每种类型的数据分别构建不同结构的模型进行预测，同
时，本专利技术还根据不同数据特征，设计了非对称损失函数，在模型反向传播梯度下降中减少预测误差，将惩罚力度设置为更倾向于将预测结果能满足服务水平PAL的一侧，然后通过对损失函数自变量系数的微调，来达到预测结果达到服务水平PAL的同时，尽量减少库存的冗余，以上这些差异化建模的方式使得本部件的泛化性更优秀。本专利技术使用大数据的分布式计算和分布式存储能力完成业务数据的ETL清洗工作，为模型训练提供稳定可靠的数据集。基于数据仓库的数据同步、ETL清洗、聚合汇总等数据处理逻辑定制化每日的模型数据流。
[0005]本专利技术的具体技术方案：
[0006]一种基于深度学习的计算机硬件库存缺件风险识别和预警的方法，包括以下步骤：
[0007]S1.数据同步：开发定时任务策略，每天定时从SCM系统全量同步计算机硬件维修历史工单数据到数据仓库Hive的ODS层。
[0008]S2.数据清洗：对数据仓库的ODS层工单数据进行数据清洗，剔除空值、乱码、特殊符号等异常数据。
[0009]S3.数据聚合：对数据仓库DW层工单数据进行维度聚合，生成对应的维度指标。
[0010]S4.数据同步：将ADS层维修、索赔、提货等指标数据同步至云端OSS(Object StorageService)对象存储服务器永久存储，同时也为模型训练提供数据服务。
[0011]S5.数据挖掘：模型从OSS获取计算机硬件历史工单数据，
[0012]a.对重要指标数据项检查是否有业务正常范畴内所产生的缺失值，并根据特定情况选择合适的填充方法，如均值、中位数、拉格朗日法、牛顿法等，完成最初数据样本的处理。
[0013]b.特征工程：为了使模型能正确捕获数据的特征，做出科学可靠的预测，需对最初的数据样本进行数据特征分析。计算机硬件耗用量数据呈现出间歇性、低需求、
[0014]数据稀疏等特点，耗用存在波动性和间隔的不确定性，通过时序图、自相关性图、
[0015]ADF单位根检验分析，最终选择在时间维度上对耗用进行聚合，能够适当降低数据的波动性，缓解数据稀疏的情况，把7天耗用量合并为一个数据样本，并默认样本数据的选取范围为近2年，截取了部分样本格式如下图1所示。特征工程：
[0016]采用Croston提出的分类方法，用平均时间间隔(ADI)和变异系数的平方(CV2)，
[0017]将步骤b聚合后的耗用数据分为光滑、弹性、平稳以及块状共四类。对于平稳变化的数据，进行白噪声检验。
[0018]c.数据预处理：对数据进行归一化，标准化。
[0019]S6.对平稳非白噪声数据建模：选用ARIMA模型(Autoregressive Integrated MovingAverage model，差分整合移动平均自回归模型)，对步骤5中分离出来的平稳非白噪声数据进行训练并预测。
[0020]S7.神经网络模型搭建：对步骤5中分离出来的光滑、弹性、块状类型以及未通过白噪声检验的数据，选用神经网络模型进行训练并预测。将CNN与LSTM组合成混合神经网络模型，CNN的输出为LSTM的输入。模型的结构层依次为CNN卷积网络层、池化层、LSTM长短期记忆网络层、Dropout层、隐藏层、输出层。模型的原理示意图如图2所示。
[0021]S8.神经网络损失函数自定义：设计非对称损失函数，将损失函数大惩罚力度设置为更倾向于预测结果能满足服务水平PAL的一侧，然后通过对损失函数自变量系数的微调，
通过观察预测值y
hat
与真值y的差距，灵活调整y
hat
与y的差距，来满足提高服务水平PAL值或降低库存冗余量这两种业务要求，在一定条件与参数调优下，可以实现两种要求同时满足。
[0022]S9.模型训练：
[0023]a.程序读取图
‑
1中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机硬件库存缺件风险识别和预警的方法，其特征在于，包括以下步骤：S1数据同步：开发定时任务策略，每天定时从SCM系统全量同步计算机硬件维修历史工单数据到数据仓库Hive的ODS层；S2数据清洗：对数据仓库的ODS层工单数据进行数据清洗，剔除空值、乱码、特殊符号等异常数据；S3数据聚合：对数据仓库DW层工单数据进行维度聚合，生成对应的维度指标；S4数据同步：将ADS层维修、索赔、提货等指标数据同步至云端0S对象存储服务器永久存储，同时也为模型训练提供数据服务；S5数据挖掘：模型从OSS获取计算机硬件历史工单数据，a.对重要指标数据项检查是否有业务正常范畴内所产生的缺失值，完成最初数据样本的处理；b.特征工程：对最初的数据样本进行数据特征分析，采用Croston提出的分类方法，用平均时间间和变异系数的平方，将步骤b聚合后的耗用数据分为光滑、弹性、平稳以及块状共四类。对于平稳变化的数据，进行白噪声检验；c.数据预处理：对数据进行归一化，标准化；S6对平稳非白噪声数据建模：选用ARIMA模，对步骤5中分离出来的平稳非白噪声数据进行训练并预测；S7神经网络模型搭建：对步骤5中分离出来的光滑、弹性、块状类型以及未通过白噪声检验的数据，选用神经网络模型进行训练并预测；S8神经网络损失函数自定义：非对称损失函数，将损失函数大惩罚力度设置为更倾向于预测结果能满足服务水平PAL的一侧，然后通过对损失函数自变量系数的微调，通过观察预测值y
hat
与真值y的差距，灵活调整y
hat
与y的差距，来满足提高服务水平PAL值或降低库存冗余量这两种业务要求；S9模型训练：a.程序读取的样本数据，并按照建模时，模型对输入数据形状的要求，对输入数据进行变换样。b.将每一行输入数据部分作为训练数据输入模型，直至物料PN1在仓库A中所有类似的组合全部放入一个矩阵中，这个矩阵一次性输入模型，输入完成后模型开始训练；c.模型训练完成后，进行预测，预测的结果和对比数据部分进行对比，所有对比数据在一个矩阵中，一次性输入损失函数中；d.损失函数对预测结果和真实结果进行损失值计算，根据损失值，进行反向传播，利用梯度下降法对模型网络参数进行调整，计算原理是通过链式求导法则，对自变量求偏导，得出梯度值，再结合Adam优化器，最终计算出新的网络参数，这样一次参数更新完成，也就是一次迭代完成；一共需要进行的迭代次数epoch是在模型搭建的时候设置好的参数；S10模型超参数调优：调整模型学习率learning rate，置零比率dropout，迭代次数epoch，优化器选择Adam；S11模型预测：模型训练结束后，将需要预测周期前16个连续周期的耗用数据输入模型，模型输出预测值，预测完成，将所有物料在所有仓库中的数据全部按照要求输入模型训练后，最终得到所有需要预测的耗用量Q
yhat
；
S12模型能力评价：评价标准由下列指标组成：物料MISS数量，定义为：PMQ＝∑y
‑
y
hat
，(y>y
hat
)；物料OVER数量，定义为：POQ＝∑y
hat
‑
y，(y
hat
>y)；其中：y
hst
为预测值，y为实际值；PMQ与POQ的值均越小越好，表示既能提高服务水平PAL，又能降低库存冗余量。根据评价结果，继续循环步骤9、10，对模型参数继续优化调整，直至评价结果达到要求；S13物料耗用趋势模型搭建：选用pytorch深度学习框架，搭建用于对库存风险控制周期T内的近期物料耗用量趋势做提前预判的模型，模型层结构为LSTM层、隐藏层、LSTM层和输出层；S14物料耗用趋势预警：模型捕捉到由于突发因素的影响导致备件耗用量出现波动较大的情况时，当推理得出该因素可能导致库存不足，并引发缺件的风险时，即触发风险预警；S15按规则获取采购交货、索赔返物、维修返物在风控周期T内的预估数据：设物料i在风控周期T内索赔返物数量时间序列为：C
it
＝(C
it
(1)，C
it
(2)
···
C
it
(n))其中R
rx
：维修商...

【专利技术属性】
技术研发人员：赵秋枫，
申请(专利权)人：上海龙照电子有限公司，
类型：发明
国别省市：