一种数据处理方法及模块、计算平台及工业物联网技术

本发明专利技术提供一种数据处理方法及模块、计算平台及工业物联网，所述多源异构数据处理方法包括：采集所述多源异构数据；标准化处理所述采集到的多源异构数据，得到标准数据；训练和学习所述标准数据，得到故障数据和/或故障信息数据；输出所述故障数据，和/或对所述故障数据进行分析得到故障类型数据并输出所述故障类型数据；排除所述故障数据，得到有益数据；输出所述有益数据。本发明专利技术极大地解决了当前诸如通信柜不具有数据分析和处理的能力的问题，可以进一步满足未来工业物联网、工业互联网和智能制造对于数据分析和处理的刚性需求。这样的多源异构数据处理方法，应用的领域及其广泛。

【技术实现步骤摘要】
一种数据处理方法及模块、计算平台及工业物联网
本专利技术涉及设计工业互联网及物联网领域，尤其涉及一种多源异构数据处理方法、多源异构数据处理模块、工业数据接入计算平台、信息处理模块、及工业物联网。
技术介绍
在一般的工业领域里，(诸如机械加工、装备制造、交通物流、冶金能源、石油化工、生物医药、水处理等行业，在现场环境下数据间的互联互通，需要对来自总线、OPC-UA、无线、以太网等多种不同来源接收到的数据进行智能化融合，例如需要对数字化工厂、智能制造、工业云平台的边缘侧数据进行采集、学习、分析、传输等数据处理操作。当前一般的处理方式是：在基于封闭式机柜、机箱或机架式的室内、户外通信柜中，标配有开关、工业电源、网络交换机、防火墙、信号中继器及转发器等，通过诸如光纤、铜轴电缆、双绞线等网络传输介质来实现数字信号的通信。该种方案存在以下缺点：①对环境要求高。不适合工业厂区内安装、施工，增加改造困难，特别是环境要求严格的水源地、矿山、油井、风能、太阳能等对环境较为苛刻的地方；②通信柜仅具备数据接收和转发能力，不具备复杂的数据分析和处理能力；因此无法满足未来工业物联网、工业互联网和智能制造对于数据分析和处理的刚性需求；③支持类型仅限于有线信号，不支持来自不同信号源的不同类型信号的接收、分析、处理、转发，尤其是无线信号。即便是在其他工业环境诸如具有封闭式机柜、机箱或机架式的多规格室内、户外控制及配电柜中，已然标配有开关、工业电源、工业PLC、PAC或DCS、网络交换机、防火墙、信号中继及转发器等装置，其数字信号通信方式是通过工业电气、仪表、现场总线及以太网实现数字信号的通信，同样具有上述缺点。
技术实现思路
为解决上述问题，本专利技术提供了一种数据处理方法及模块、计算平台及工业物联网。第一方面，本专利技术实施例提供了一种多源异构数据处理方法，方法包括：采集所述多源异构数据；标准化处理所述采集到的多源异构数据，得到标准数据；训练和学习所述标准数据，得到故障数据和/或故障信息数据；输出所述故障数据，和/或对所述故障数据进行分析得到故障类型数据并输出所述故障类型数据；排除所述故障数据，得到有益数据；输出所述有益数据。上述采集所述多源异构数据的步骤包括：找到所述多源异构数据的主体结构数据；当所述主体结构数据为开关量或事件信号时，采集1个比特位的布尔型数据；当所述主体结构数据为模拟量信号时，采集16位整型数据，或32位整型数据，或64位双精度浮点型数据；当所述主体结构数据为UTF-8编码、或双字节信号时，采集字符型数据。上述述标准化处理所述采集到的多源异构数据的步骤包括：对所述采集到的整型数据、布尔型数据、双精度浮点型数据、和/或字符型数据(包含语音转文字数据)进行归一化处理；对所述归一化处理后的数据添加时间标签、单位标签、量纲标签的至少一种标签信号形成标准数据。上述标准数据包括有：时间标签、单位标签、量纲标签的一个或多个标签信号。上述训练和学习所述标准数据，得到故障数据步骤包括：通过对标准数据进行持续比对，设定一定范围的数据信号为合理范围，持续比对分析得到所述合理范围以外的数据，并将所述合理范围以外的数据标记为离群数据，所述离群数据是所述故障数据的一种。采用神经网络、自适应学习或专家模型等算法对上述标准数据进行比对。上述数据处理方法还包括：对所述标准数据进行加密处理。上述方法还包括：标准化处理所述故障数据和/所述故障信息数据，输出所述标准化后的故障数据和/故障信息数据；标准化处理所述有益数据，输出所述标准化后有益数据。本专利技术通过对多源异构数据进行标准化处理得到标准化可识别的标准数据，进而识别出故障数据和有益数据，极大的方便了上位机的数据管理。极大地解决了当前诸如通信柜不具有数据分析和处理的能力的问题，可以进一步满足未来工业物联网、工业互联网和智能制造对于数据分析和处理的刚性需求。这样的多源异构数据处理方法，应用的领域及其广泛，可以应用在任何复杂的工业环境下，尤其是应用在那些环境苛刻、常规工业设备维护和管理比较复杂麻烦的情况，不仅极大的降低了人工维护和管理的成本，而且本方法提供的数据分析方法的准确性也非常高。第二方面，本专利技术实施例提供了一种多源异构数据处理模块，包括：数据采集单元，用来采集所述多源异构数据；第一标准化处理单元，用来标准化处理所述采集到的多源异构数据，得到标准数据；故障数据检测单元，用来训练和学习所述标准数据，得到故障数据和/或故障信息数据；数据筛选单元，用来排除所述故障数据，得到有益数据；数据输出单元，用来输出所述故障数据和/或故障信息数据，以及输出所述有益数据。上述数据采集单元首先找到所述多源异构数据的主体结构数据；当所述主体结构数据为开关量或事件信号时，所述数据采集单元采集1个比特位的布尔型数据；当所述主体结构数据为模拟量信号时，所述数据采集单元采集16位整型数据，或32位整型数据，或64位双精度浮点型数据；当所述主体结构数据为UTF-8编码、或双字节信号时，采集字符型数据。上述第一标准化处理单元对所述整型数据进行归一化处理；上述第一标准化处理单元对所述归一化处理的整型数据、布尔型数据、双精度浮点型数据、字符型数据添加时间标签、单位标签、量纲标签的至少一种标签信号形成标准数据。上述标准数据包括有：时间标签、单位标签、量纲标签的一个或多个标签信号。上述故障数据检测单元通过对标准数据进行持续比对，设定一定范围的数据信号为合理范围，持续比对分析得到所述合理范围以外的数据，并将所述合理范围以外的数据标记为离群数据，所述离群数据是所述故障数据的一种。上述数据输出单元通过云传输输出所述有益数据和/或故障数据。上述多源异构数据包括：开关量信号、现场总线基金会总线信号、基站/北斗定位信号的一种或多种。上述多源异构数据处理模块还包括加密单元，用来对所述标准数据进行加密处理。上述多源异构数据处理模块还包括：第二标准处理单元，标准化处理所述故障数据和/所述故障信息数据，第三标准处理单元，标准化处理所述有益数据，所述数据输出单元，输出所述标准化后的故障数据和/故障信息数据，以及输出所述标准化后有益数据。对比现有技术，本专利技术提供的多源异构数据处理模块在具备极大的方便了上位机的数据管理的基础上，其应用方式非常灵活，可以采用独立硬件产品进行实现，也可以集成在FPGA芯片中。第三方面，本专利技术实施例提供了一种工业数据接入计算平台，包括任一上述的多源异构数据处理模块。本专利技术提供的工业数据接入计算平台是所述多源异构数据处理模块具体实现的一种硬件产品，对比现有工业通信机柜等产品，该工业数据接入计算平台可以就近自由设置在工业设备的附近。其对来自不同设备的不同信号源进行标准化处理，并输出标准格式的有益数据和/或故障信号，进一步的还对这些信号进行进一步的处理，例如得到有益信息信号和/或故障信息信号，极大的方便了工业领域对多台设备的管理。可以应用在诸如数字化工厂、智能制造、工业云平台等多行业工业领域。第四方面，本专利技术实施例提供了一种信息处理模块，包括：接受单元，用来接收来自任一上述多源异构数据处理模块的有益数据和/或故障数据和/或故障信息数据；还包括识别单元，用来识别所述有益数据和/或故障数据和/或故障信息数据上的标签，所述标签包括时间、数值、单位、量纲的本文档来自技高网...

【技术保护点】
1.一种多源异构数据处理方法，其特征在于：所述方法包括：采集所述多源异构数据；标准化处理所述采集到的多源异构数据，得到标准数据；训练和学习所述标准数据，得到故障数据和/或故障信息数据；输出所述故障数据，和/或对所述故障数据进行分析得到故障类型数据并输出所述故障类型数据；排除所述故障数据，得到有益数据；输出所述有益数据。

【技术特征摘要】
2018.06.28 CN 20181068811901.一种多源异构数据处理方法，其特征在于：所述方法包括：采集所述多源异构数据；标准化处理所述采集到的多源异构数据，得到标准数据；训练和学习所述标准数据，得到故障数据和/或故障信息数据；输出所述故障数据，和/或对所述故障数据进行分析得到故障类型数据并输出所述故障类型数据；排除所述故障数据，得到有益数据；输出所述有益数据。2.根据权利要求1所述的数据处理方法，其特征在于：所述采集所述多源异构数据的步骤包括：找到所述多源异构数据的主体结构数据；当所述主体结构数据为开关量或事件信号时，采集1个比特位的布尔型数据；当所述主体结构数据为模拟量信号时，采集16位整型数据，或32位整型数据，或64位双精度浮点型数据；当所述主体结构数据为UTF-8编码、或双字节信号时，采集字符型数据。3.根据权利要求2所述的数据处理方法，其特征在于：所述标准化处理所述采集到的多源异构数据的步骤包括：对所述采集到的整型数据、布尔型数据、双精度浮点型数据、和/或字符型数据(包含语音转文字数据)进行归一化处理；对所述归一化处理后的数据添加时间标签、单位标签、量纲标签的至少一种标签信号形成标准数据。4.根据权利要求1至3任一所述的数据处理方法，其特征在于：所述标准数据包括有：时间标签、单位标签、量纲标签的一个或多个标签信号。5.根据权利要求1至3任一所述的数据处理方法，其特征在于：所述训练和学习所述标准数据，得到故障数据步骤包括：通过对标准数据进行持续比对，设定一定范围的数据信号为合理范围，持续比对分析得到所述合理范围以外的数据，并将所述合理范围以外的数据标记为离群数据，所述离群数据是所述故障数据的一种。6.根据权利要求5所述的数据处理方法，其特征在于：采用神经网络、自适应学习或专家模型等算法对所述标准数据进行比对。7.根据权利要求1至3任一所述的数据处理方法，其特征在于：所述数据处理方法还包括：对所述标准数据进行加密处理。8.根据权利要求1-3任一所述一种多源异构数据处理方法，其特征在于：所述方法还包括：标准化处理所述故障数据和/所述故障信息数据，输出所述标准化后的故障数据和/故障信息数据；标准化处理所述有益数据，输出所述标准化后有益数据。9.一种多源异构数据处理模块，其特征在于，包括：数据采集单元，用来采集所述多源异构数据；第一标准化处理单元，用来标准化处理所述采集到的多源异构数据，得到标准数据；故障数据检测单元，用来训练和学习所述标准数据，得到故障数据和/或故障信息数据；数据筛选单元，用来排除所述故障数据，得到有益数据；数据输出单元，用来输出所述故障数据和/或故障信息数据，以及输出所述有益数据。10.根据权利要求9所述的多源异构数据处理模块，其特征在于，所述数据采集单元首先找到所述多源异构数据的主体结构数据；当所述主体结构数据为开关量或事件信号时，所述数据采集单元采集1...

【专利技术属性】
技术研发人员：任志刚，罗飞，
申请(专利权)人：西安华云智联信息科技有限公司，
类型：发明
国别省市：陕西,61