一种面向装备物联网设备的数据治理系统及方法技术方案

本发明专利技术提供一种面向装备物联网设备的数据治理系统及方法，系统包括装备模拟模块、网关模块、数据处理模块，装备模拟模块与网关模块连接，网关模块与数据处理模块连接，装备模拟模块，用于通过装备物联网设备模拟器对装备物联网设备进行模拟，获取模拟数据，网关模块，用于基于模拟数据，选取对应的网关，采用对应的网关对模拟数据进行数据格式转化，得到已转换数据，并将已转换数据发送至数据处理模块，数据处理模块，用于对已转换数据进行数据验证、数据清洗、数据计算与传输。通过上述面向装备物联网设备的数据治理系统，可以实现对装备物联网设备的数据进行治理。物联网设备的数据进行治理。物联网设备的数据进行治理。

【技术实现步骤摘要】
一种面向装备物联网设备的数据治理系统及方法


[0001]本专利技术涉及物联网
，尤其涉及一种面向装备物联网设备的数据治理系统及方法。

技术介绍

[0002]随着社会发展的不断进步，对装备物联网设备数字化的需求也越来越多。目前，装备物联网设备存在以下两个特点：
[0003]第一、装备物联网设备种类繁多，例如，装备物联网设备存在有轮式装备物联网设备，履带式装备物联网设备，牵引式装备物联网设备，半履带式装备物联网设备等，对应的运动参数特征差异巨大。
[0004]第二、装备物联网设备对应的行为复杂，所适用的场景复杂，从而导致数据量巨大。
[0005]以上两个特点导致对于装备物联网设备的数据的治理难度大，因此，如何对装备物联网设备的数据进行治理的问题是目前业界亟待解决的重要课题。

技术实现思路

[0006]本专利技术提供一种面向装备物联网设备的数据治理系统及方法，用以解决现有技术中对装备物联网设备的数据的治理难度大的缺陷，实现对装备物联网设备的数据进行治理。
[0007]本专利技术提供一种面向装备物联网设备的数据治理系统，系统包括：装备模拟模块、网关模块、数据处理模块；
[0008]所述装备模拟模块与所述网关模块连接，所述网关模块与所述数据处理模块连接；
[0009]所述装备模拟模块，用于通过装备物联网设备模拟器对装备物联网设备进行模拟，获取模拟数据；
[0010]所述网关模块，用于基于所述模拟数据，选取对应的网关，采用对应的网关对所述模拟数据进行数据格式转化，得到已转换数据，并将所述已转换数据发送至所述数据处理模块；
[0011]所述数据处理模块，用于对所述已转换数据进行数据验证、数据清洗、数据计算与传输。
[0012]根据本专利技术提供的一种面向装备物联网设备的数据治理系统，所述数据处理模块包括数据验证单元、数据清洗单元、数据计算与传输单元；
[0013]所述数据验证单元，用于对所述已转换数据进行验证，在验证通过的情况下，获取待清洗数据；
[0014]所述数据清洗单元，用于采用预设清洗策略对所述待清洗数据进行清洗，得到已清洗数据；
[0015]所述数据计算与传输单元，用于基于预先获取的指令，对所述已清洗数据进行计算与传输。
[0016]根据本专利技术提供的一种面向装备物联网设备的数据治理系统，所述数据清洗单元包括数据检测子单元和数据清洗子单元；
[0017]所述数据检测子单元，用于基于预设检测方式，对所述待清洗数据进行检测，得到检测结果，其中，所述预设检测方式包括一致性检测、重复性检测、缺失值检测和噪声值检测中的至少一种；
[0018]所述数据清洗子单元，用于基于所述预设检测方式对应的预设清洗方式，以及所述检测结果，对所述待清洗数据进行清洗，得到已清洗数据。
[0019]根据本专利技术提供的一种面向装备物联网设备的数据治理系统，在所述预设检测方式包括所述一致性检测的情况下，所述数据检测子单元，具体用于检测所述待清洗数据的字符是否满足预设一致性条件，得到检测结果；
[0020]所述数据清洗子单元，具体用于在所述检测结果表征所述字符满足所述预设一致性条件的情况下，保留所述字符；在所述检测结果表征所述字符不满足所述预设一致性条件的情况下，删除所述字符，得到已清洗数据。
[0021]根据本专利技术提供的一种面向装备物联网设备的数据治理系统，在所述预设检测方式包括所述重复性检测的情况下，所述数据检测子单元，具体用于确定预设的数据库中是否存在与所述待清洗数据一致的已存储数据，得到检测结果；
[0022]所述数据清洗子单元，具体用于在所述检测结果表征存在所述已存储数据的情况下，删除所述待清洗数据中与所述已存储数据一致的数据，得到已清洗数据；在所述检测结果表征不存在所述已存储数据的情况下，将所述待清洗数据作为已清洗数据。
[0023]根据本专利技术提供的一种面向装备物联网设备的数据治理系统，在所述预设检测方式包括所述缺失值检测的情况下，所述数据检测子单元，具体用于在所述待清洗数据存在缺失的情况下，基于预设的数据库，确定是否存在待填充数据，得到检测结果；
[0024]所述数据清洗子单元，具体用于在所述待检测结果表征存在所述待填充数据的情况下，将所述待填充数据添加至所述待清洗数据，得到已清洗数据；在所述待检测结果表征不存在所述待填充数据的情况下，对所述待清洗数据进行删除处理。
[0025]根据本专利技术提供的一种面向装备物联网设备的数据治理系统，在所述预设检测方式包括所述噪声值检测的情况下，所述数据检测子单元，具体用于将所述待清洗数据分为多份待清洗子数据，针对每份所述待清洗子数据，采用预设算法，获取该待清洗子数据的待确定值，得到检测结果；
[0026]所述数据清洗子单元，具体用于在所述检测结果表征所述待确定值满足预设数值条件的情况下，保留该待清洗子数据，在所述检测结果表征所述待确定值满足所述预设数值条件的情况下，删除该待清洗子数据，得到已清洗数据。
[0027]根据本专利技术提供的一种面向装备物联网设备的数据治理系统，所述数据计算与传输单元，具体用于基于预先获取的指令，对所述已清洗数据进行所述指令对应的计算，得到已计算数据；
[0028]在当前网络连通的情况下，传输所述已计算数据；
[0029]在所述当前网络未连通的情况下，将所述已计算数据放入缓存队列，直至所述当
前网络连通。
[0030]本专利技术还提供一种面向装备物联网设备的数据治理方法，方法包括：
[0031]通过装备模拟模块获取模拟数据，其中，所述模拟数据为通过装备物联网设备模拟器对装备物联网设备进行模拟得到的数据；
[0032]通过网关模块基于所述模拟数据，选取对应的网关，采用对应的网关对所述模拟数据进行数据格式转化，得到已转换数据，并将所述已转换数据发送至所述数据处理模块；
[0033]通过数据处理模块对所述已转换数据进行数据验证、数据清洗、数据计算与传输。
[0034]根据本专利技术提供的一种面向装备物联网设备的数据治理方法，所述通过数据处理模块对所述已转换数据进行数据验证、数据清洗、数据计算与传输的步骤，包括：
[0035]通过数据验证单元对所述已转换数据进行验证，在验证通过的情况下，获取待清洗数据；
[0036]通过数据清洗单元采用预设清洗策略对所述待清洗数据进行清洗，得到已清洗数据；
[0037]通过数据计算与传输单元基于预先获取的指令，对所述已清洗数据进行计算与传输。
[0038]本专利技术提供的一种面向装备物联网设备的数据治理系统及方法，系统包括装备模拟模块、网关模块、数据处理模块，装备模拟模块与网关模块连接，网关模块与数据处理模块连接，装备模拟模块，用于通过装备物联网设备模拟器对装备物联网设备进行模拟，获取模拟数据，网关模块，用于基于模拟数据，选取对应的网关，采用对应的网关对模拟数据进行数据格式转化，得到已转换数据，并将已转换数据发送至数据处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向装备物联网设备的数据治理系统，其特征在于，所述系统包括：装备模拟模块、网关模块、数据处理模块；所述装备模拟模块与所述网关模块连接，所述网关模块与所述数据处理模块连接；所述装备模拟模块，用于通过装备物联网设备模拟器对装备物联网设备进行模拟，获取模拟数据；所述网关模块，用于基于所述模拟数据，选取对应的网关，采用对应的网关对所述模拟数据进行数据格式转化，得到已转换数据，并将所述已转换数据发送至所述数据处理模块；所述数据处理模块，用于对所述已转换数据进行数据验证、数据清洗、数据计算与传输。2.根据权利要求1所述的面向装备物联网设备的数据治理系统，其特征在于，所述数据处理模块包括数据验证单元、数据清洗单元、数据计算与传输单元；所述数据验证单元，用于对所述已转换数据进行验证，在验证通过的情况下，获取待清洗数据；所述数据清洗单元，用于采用预设清洗策略对所述待清洗数据进行清洗，得到已清洗数据；所述数据计算与传输单元，用于基于预先获取的指令，对所述已清洗数据进行计算与传输。3.根据权利要求2所述的面向装备物联网设备的数据治理系统，其特征在于，所述数据清洗单元包括数据检测子单元和数据清洗子单元；所述数据检测子单元，用于基于预设检测方式，对所述待清洗数据进行检测，得到检测结果，其中，所述预设检测方式包括一致性检测、重复性检测、缺失值检测和噪声值检测中的至少一种；所述数据清洗子单元，用于基于所述预设检测方式对应的预设清洗方式，以及所述检测结果，对所述待清洗数据进行清洗，得到已清洗数据。4.根据权利要求3所述的面向装备物联网设备的数据治理系统，其特征在于，在所述预设检测方式包括所述一致性检测的情况下，所述数据检测子单元，具体用于检测所述待清洗数据的字符是否满足预设一致性条件，得到检测结果；所述数据清洗子单元，具体用于在所述检测结果表征所述字符满足所述预设一致性条件的情况下，保留所述字符；在所述检测结果表征所述字符不满足所述预设一致性条件的情况下，删除所述字符，得到已清洗数据。5.根据权利要求3所述的面向装备物联网设备的数据治理系统，其特征在于，在所述预设检测方式包括所述重复性检测的情况下，所述数据检测子单元，具体用于确定预设的数据库中是否存在与所述待清洗数据一致的已存储数据，得到检测结果；所述数据清洗子单元，具体用于在所述检测结果表征存在所述已存储数据的情况下，删除所述待清洗数据中与所述已存储数据一致的数据，得到已清洗数据；在所述检测结果表征不存在所述已存储数据的情况下，将所述待清洗数据作为已清洗数据。6.根据权利要求3所...

【专利技术属性】
技术研发人员：陈财森，纪伯公，丁正威，彭聪胜，罗晓玲，郭杰，向阳霞，
申请(专利权)人：广州五舟软件技术有限公司，
类型：发明
国别省市：