一种DCS系统数据的处理上传方法、系统及存储介质技术方案

本申请提供了一种DCS系统数据的处理上传方法、系统及存储介质。属于DCS数据采集和大数据处理技术领域，方法包括：与DCS系统进行链接并接收多个指定点位数据，将指定点位数据推送到待处理队列表，并根据数据过滤模型按照预设过滤条件进行清洗过滤和修正，推送至待压缩队列表，根据压缩维度将待压缩数据进行点位压缩获得点位压缩数据包并标识，将点位压缩数据包发送到持久化数据库中进行暂存并按照暂存队列表进行上传到IOT平台，上传成功后根据反馈信息对持久化数据库进行更新；从而对指定点位数据进行整理、过滤清洗、压缩和上传，实现对数据的排序、过滤筛查、压缩减积以及断线再传技术，减小IOT上报通道的压力。减小IOT上报通道的压力。减小IOT上报通道的压力。

【技术实现步骤摘要】
一种DCS系统数据的处理上传方法、系统及存储介质


[0001]本申请涉及DCS数据采集和大数据处理
，具体而言，涉及一种DCS系统数据的处理上传方法、系统及存储介质。

技术介绍

[0002]DCS（集散控制系统简称）通常采用若干个控制器对一个生产过程中的众多控制点进行控制，各控制器间通过网络连接并可进行数据交换，生产控制操作采用计算机操作站，通过网络与控制器连接，收集生产数据，传达操作指令。DCS控制的点是指DCS系统接收、处理及输出的所有信号，这个点是输入输出点，也就是采集或控制、通讯点，分为AI、AO、DI、D、OPI以及其他系统的通讯点，OPC（Open Platform Communications）是一组软件技术，为控制各种设备和交换数据提供单一、统一的接口，OPC DA的数据访问标准是最常见的标准，它描述了一组与PLC、DCS、HMI、CNC和其他设备进行实时数据交换的功能，OPC DA服务器在客户端程序和终端设备之间提供数据交换（写入和读取）。OPC DA所采集的的数据是具有某些属性的标签变量，变量可以是OLE中允许的任何类型，包括各种整数和实数类型、布尔值、字符串、日期、数组等。
[0003]在通过OPC DA对DCS系统进行数据采集时，因为数据量十分巨大，短时并发量巨大，导致在实际的对接中时长会出现以下问题：单个点位定频上报的数据无法过滤，导致IOT平台接口承担巨大的并发和拥挤；当与DCS断开连接后，无法获取到未接收到的数据，需重新获取；当与IOT平台进行数据上传时，上传中断或失败的数据无法列队重传。
[0004]针对上述问题，目前亟待有效的技术解决方案。

技术实现思路

[0005]本申请实施例的目的在于提供一种DCS系统数据的处理上传方法、系统及存储介质，可以对指定点位数据进行整理、过滤清洗、压缩和上传，实现对数据的排序、过滤筛查、压缩减积以及断线再传，对数据的有效过滤减小IOT上报通道的压力，缓存未上报数据，以及对未采集到的数据进行断线重传。
[0006]本申请实施例还提供了一种DCS系统数据的处理上传方法，包括以下步骤：通过OPC DA协议与DCS系统进行链接，并向DCS系统获取指定点位，并接收到DCS系统推送的多个指定点位数据；将所述指定点位数据进行提取并推送到待处理队列表并整理；通过预设的数据处理容器从所述待处理队列表中对所述指定点位数据进行提取，并根据数据过滤模型按照预设过滤条件进行清洗过滤；将完成清洗过滤的指定点位数据进行修正，并推送至待压缩队列表；根据压缩维度将所述待压缩队列表中的待压缩数据进行点位压缩获得点位压缩数据包；对压缩完成的所述点位压缩数据包进行标识，并将所述点位压缩数据包发送到持
久化数据库中进行暂存，获得暂存队列表；按照所述暂存队列表对所述持久化数据库中的点位压缩数据包进行上传到IOT平台，上传成功后根据IOT平台的反馈信息对所述持久化数据库进行实时更新，并对未完成上传的点位压缩数据包继续进行上传。
[0007]可选地，在本申请实施例所述的DCS系统数据的处理上传方法中，所述将所述指定点位数据进行提取并推送到待处理队列表并整理，包括：提取DCS系统推送的多个指定点位数据，所述指定点位数据包括测量点数据、控制点数据和通讯点数据；根据所述测量点数据、控制点数据和通讯点数据进行处理获得工艺点位级别系数；将所述指定点位数据与对应所述工艺点位级别系数推送到待处理队列表中；将多个所述指定点位数据根据对应的工艺点位级别系数在所述待处理队列表中进行排序整理。
[0008]可选地，在本申请实施例所述的DCS系统数据的处理上传方法中，所述通过预设的数据处理容器从所述待处理队列表中对所述指定点位数据进行提取，并根据数据过滤模型按照预设过滤条件进行清洗过滤，包括：通过预设的数据处理容器从所述待处理队列表中根据所述指定点位数据的排序对对应的指定点位数据进行提取；获得数据过滤模型，并根据所述数据过滤模型按照预设过滤条件对所述指定点位数据进行清洗过滤，筛出相同数据和未变化数据；将所述指定点位数据中筛出的所述相同数据和未变化数据进行去除，获得清洗过滤后的清洗过滤点位数据。
[0009]可选地，在本申请实施例所述的DCS系统数据的处理上传方法中，所述将完成清洗过滤的指定点位数据进行修正，并推送至待压缩队列表，包括：将所述清洗过滤点位数据与所述工艺点位级别系数进行修正；所述清洗过滤点位数据的修正计算公式为：,其中为修正的清洗过滤点位数据，为清洗过滤点位数据，为预设修正系数；将修正后的清洗过滤点位数据推送至待压缩队列表获得待压缩数据。
[0010]可选地，在本申请实施例所述的DCS系统数据的处理上传方法中，所述根据压缩维度将所述待压缩队列表中的待压缩数据进行点位压缩获得点位压缩数据包，包括：根据所述工艺点位级别系数在持久化数据库中获取对应压缩维度信息；在所述压缩维度信息中提取点位压缩方式；根据所述点位压缩方式对所述待压缩队列表中的对应待压缩数据进行压缩，获得点位压缩数据包。
[0011]可选地，在本申请实施例所述的DCS系统数据的处理上传方法中，所述对压缩完成的所述点位压缩数据包进行标识，并将所述点位压缩数据包发送到持久化数据库中进行暂存，获得暂存队列表，包括：根据所述点位压缩数据包的容量信息、点位标识符信息以及待压缩队列表的序号
生成压缩包标识信息；按照所述压缩包标识信息对对应所述点位压缩数据包进行标识；将带有标识的所述点位压缩数据包发送到持久化数据库中进行暂存；所述持久化数据库根据收到的所述点位压缩数据包进行列表，生成暂存队列表。
[0012]可选地，在本申请实施例所述的DCS系统数据的处理上传方法中，所述按照所述暂存队列表对所述持久化数据库中的点位压缩数据包进行上传到IOT平台，上传成功后根据IOT平台的反馈信息对所述持久化数据库进行实时更新，并对未完成上传的点位压缩数据包继续进行上传，包括：按照所述暂存队列表的列表顺序，对所述持久化数据库中的点位压缩数据包进行上传到IOT平台；若所述IOT平台接收到所述点位压缩数据包，则反馈与所述点位压缩数据包对应的反馈信息到所述持久化数据库；所述持久化数据库根据所述反馈信息对所述暂存队列表进行实时更新；若所述点位压缩数据包上传中断或失败，则将所述暂存队列表对应所述点位压缩数据包的上传状态标注为待重新上传；对所述暂存队列表中待重新上传的点位压缩数据包进行再次上传到IOT平台。
[0013]第二方面，本申请实施例提供了一种DCS系统数据的处理上传系统，该系统包括：数据采集模块：通过OPC DA协议与DCS系统进行链接，向DCS系统获取指定点位并接收DCS系统推送的多个指定点位数据；数据清洗模块：根据数据过滤模型按照预设过滤条件对指定点位数据进行清洗过滤并修正；数据压缩模块：根据压缩维度将待压缩队列表中的待压缩数据进行点位压缩获得点位压缩数据包；数据暂存模块：对标识的点位压缩数据包暂存到持久化数据库；数据上传模块：按照暂存队列表对点位压缩数据包进行上传到IOT平台，并根据平台反馈信息对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种DCS系统数据的处理上传方法，其特征在于，包括以下步骤：通过OPC DA协议与DCS系统进行链接，并向DCS系统获取指定点位，并接收到DCS系统推送的多个指定点位数据；将所述指定点位数据进行提取并推送到待处理队列表并整理；通过预设的数据处理容器从所述待处理队列表中对所述指定点位数据进行提取，并根据数据过滤模型按照预设过滤条件进行清洗过滤；将完成清洗过滤的指定点位数据进行修正，并推送至待压缩队列表；根据压缩维度将所述待压缩队列表中的待压缩数据进行点位压缩获得点位压缩数据包；对压缩完成的所述点位压缩数据包进行标识，并将所述点位压缩数据包发送到持久化数据库中进行暂存，获得暂存队列表；按照所述暂存队列表对所述持久化数据库中的点位压缩数据包进行上传到IOT平台，上传成功后根据IOT平台的反馈信息对所述持久化数据库进行实时更新，并对未完成上传的点位压缩数据包继续进行上传。2.根据权利要求1所述的DCS系统数据的处理上传方法，其特征在于，所述将所述指定点位数据进行提取并推送到待处理队列表并整理，包括：提取DCS系统推送的多个指定点位数据，所述指定点位数据包括测量点数据、控制点数据和通讯点数据；根据所述测量点数据、控制点数据和通讯点数据进行处理获得工艺点位级别系数；将所述指定点位数据与对应所述工艺点位级别系数推送到待处理队列表中；将多个所述指定点位数据根据对应的工艺点位级别系数在所述待处理队列表中进行排序整理。3.根据权利要求2所述的DCS系统数据的处理上传方法，其特征在于，所述通过预设的数据处理容器从所述待处理队列表中对所述指定点位数据进行提取，并根据数据过滤模型按照预设过滤条件进行清洗过滤，包括：通过预设的数据处理容器从所述待处理队列表中根据所述指定点位数据的排序对对应的指定点位数据进行提取；获得数据过滤模型，并根据所述数据过滤模型按照预设过滤条件对所述指定点位数据进行清洗过滤，筛出相同数据和未变化数据；将所述指定点位数据中筛出的所述相同数据和未变化数据进行去除，获得清洗过滤后的清洗过滤点位数据。4.根据权利要求3所述的DCS系统数据的处理上传方法，其特征在于，所述将完成清洗过滤的指定点位数据进行修正，并推送至待压缩队列表，包括：将所述清洗过滤点位数据与所述工艺点位级别系数进行修正；所述清洗过滤点位数据的修正计算公式为：,其中为修正的清洗过滤点位数据，为清洗过滤点位数据，为预设修正系数；将修正后的清洗过滤点位数据推送至待压缩队列表获得待压缩数据。
5.根据权利要求4所述的DCS系统数据的处理上传方法，其特征在于，所述根据压缩维度将所述待压缩队列表中的待压缩数据进行点位压缩获得点位压缩数据包，包括：根据所述工艺点位级别系数在持久化数据库中获取对应压缩维度信息；在所述压缩维度信息中提取点位压缩方式；根据所述点位压缩方式对所述待压缩队列表中的对应待压缩数据进行压缩，获得点位压缩数据包。6.根据权利要求5所述的DCS系统数据的处理上传方法，其特征在于，所述对压缩完成的所述点位压缩数据包进行标识，并将所述点位压缩数据包发送到持久化数据库中进行暂存，获得暂存队列表，包括：根据所述点位压缩数据包的容量信息、...

【专利技术属性】
技术研发人员：袁石安，王毅，李大利，
申请(专利权)人：深圳普菲特信息科技股份有限公司，
类型：发明
国别省市：