一种数据处理方法、系统、电子设备和存储介质技术方案

本发明专利技术属于数据处理和数据存储技术领域，涉及一种数据处理方法、系统、电子设备和存储介质。本发明专利技术提供了一种数据处理方法，借助本发明专利技术的数据处理方法，可以将采集自不同厂家、不同规格、不同型号、不同品牌硬件的数据进行统一处理，最终得到具有统一格式的一致性、同一性数据文件，实现了对多种不同硬件之间的数据共享、共用，有助于打破行业数据壁垒，提高智能硬件数据的开放性和可用性，促进大数据、智能硬件的发展，同时有利于智能硬件数据标准化、规范化的推动和实施。本发明专利技术将缺乏一致性的数据处理得到具有一致性格式的数据，可以极大地方便后续的数据计算工作，降低数据计算的算力消耗，提高数据计算效率，提高数据利用水平。平。平。

【技术实现步骤摘要】
一种数据处理方法、系统、电子设备和存储介质


[0001]本专利技术属于数据处理和数据存储
，涉及一种数据处理方法、系统、电子设备和存储介质。

技术介绍

[0002]随着物联网的快速发展，智能硬件设备已经深入到人们的日常生活之中，特别是在智能交通领域，具有数据交互功能的智能交通工具已经实现了商业化运营，由此也进一步推动了智能交通系统的发展，智能交通系统是将先进的传感技术、信息通讯技术、计算机技术以及控制技术等融合后在交通应用体系中发挥作用，从而建立起一种全方位、高效、准确的交通管理和综合运输系统，可以改善交通状况、行车环境和用车环境，使道路更畅通并能方便人们的出行。以无线通信技术为基础的车路协同作为智能交通系统重要的组成部分，是以无线通信和传感探测等技术全面的获得道路网络上车辆个体的运行状态信息，通过出行者、车载单元和路侧单元之间的实时、高效和双向的信息交互，实现人车路之间的一体化协同，提升道路交通系统的安全、通畅和便捷，最终达到优化利用系统资源的目标。
[0003]通常情况下，为了获得足够多的交通信息数据，需要设置一定数量的数据采集设备对各种硬件设备进行数据采集、数据汇总和数据分析，比如，中国申请CN114049709A公开了一种基于车联网的无感汽车门禁系统，该系统包括钥匙模块，所述钥匙模块用于在收到低频激活信号时，发出超高频加密指令数据；车载门禁模块，所述车载门禁模块安装于车辆，所述车载门禁模块与钥匙模块通信连接；车联网服务器，所述车联网服务器与所述车载门禁模块通信连接；客户终端，所述客户终端与所述车联网服务器通信连接，所述客户终端上设有手机客户端。本专利技术通过利用车联网的定位功能，通过比对用户手机客户端位置和汽车位置来增强汽车门禁系统无感进入功能的安全性，不仅提高了汽车门禁系统抗密码破解和中继攻击能力，而且可通过客户端和短信方式实时告知门禁状态，提高了用户对门禁状态的感知能力和门禁安全性。中国申请CN114051071A公开了一种驾驶状态通话处理方法，其方法包括如下步骤：根据单位时间内的方向盘操作记录、刹车记录及油门记录计算得出方向盘角度改变次数和刹车油门切换次数；根据是否为重要联系人、当前车速、方向盘角度改变次数、刹车油门切换次数确定对应的驾驶场景；执行所述驾驶场景对应的响应命令。本专利技术能够据具体驾驶场景的各项参数判断是否接听电话，提高了车辆行驶时驾驶人员的安全性和便利性。
[0004]以上现有技术中的专利申请只着眼于对硬件设备的数据采集，但是并未对其具体的数据采集手段进行说明，而且，现有技术中存在各式各样的硬件产品类型，已经上市销售且被应用的硬件种类也不在少数，这些硬件产品大都来自不同的生产厂商，其所使用的数据标准以及所生成的数据格式并不完全相同，特别是对于大型成套硬件设备而言，其所使用的各个零部件可能来自于十几个甚至几十个不同的供应商，每一个供应商所提供的产品又可能来自不同的厂家，而且即使是一个厂家的产品，其不同的款式、不同型号的设备所采用的数据标准和数据格式也不尽相同，这就导致这些大型成套设备可能产生数目庞大的缺
乏一致性的数据，而这些属于又是分析硬件设备运行情况的必备原始资料，如何高效率地采集、存储、分析以及应用这些庞杂的、缺乏一致性的数据是现有技术中面临的客观问题，但是现有技术中并没有能够很好地解决这一问题的技术方案，故此，申请人提出本专利申请以解决上述技术问题。

技术实现思路

[0005]为解决上述技术问题，本专利技术提供一种数据处理方法，采用本专利技术的处理方法，可以将来自不同硬件的、缺乏一致性的数据进行统一化处理，经过处理的数据具有相同的数据格式和较小的存储空间占有量，便于后续对数据的存储、分析和应用，不但可以提高数据的后续分析计算效率，还可以降低数据存储的成本，从而提高数据的利用价值。
[0006]为了实现上述目的，本专利技术的技术方案如下：
[0007]一种数据处理方法，包括如下步骤：
[0008]步骤1：数据正态化处理；
[0009]步骤2：数据标准化处理；
[0010]步骤3：数据归一化处理；
[0011]步骤4：数据打包处理得到数据包；
[0012]步骤5：提取步骤4中得到的数据包并进行数据标记；
[0013]其中，所述步骤4中的数据打包处理包括数据特征化处理、数据降噪处理以及数据分包处理；
[0014]所述步骤4中得到的数据包分为特征数据包和基础数据包；
[0015]所述步骤4中的数据打包处理采用数据打包函数进行处理，所述数据打包函数具体为：
[0016]其中n≤10；
[0017]其中：M为数据特征函数；
[0018]n为数据中包含的特征值的数量；
[0019]x为数据的若干特征值中某一个特征值的特征指数，具体为：其中的γ为数据的1个特征值所组成的矩阵所对应的秩；
[0020]μ为数据的特征值组成的矩阵的特征向量，L为数据的特征值的特征向量。
[0021]进一步的，所述步骤1的数据正态化处理为将特征值非正态分布的数据通过正态处理函数处理为特征值正态分布的函数；所述正态处理函数为：
[0022]进一步的，所述步骤2的数据标准化处理为将正态处理后的数据特征值通过标准化函数变更为标准化特征值，所述标准化函数为：
[0023]进一步的，所述步骤3的数据归一化处理为对数据特征值的特征向量进行归一化运算，归一化处理后的数据特征值的特征向量的表示方式为：运算，归一化处理后的数据特征值的特征向量的表示方式为：为初始特征向量。
[0024]进一步的，所述步骤4中数据打包处理过程中的数据特征化处理为根据归一化运算后得到的数据特征值的特征向量对数据进行分类，所述分类为将数据划分为特征数据和基础数据。
[0025]进一步的，所述数据降噪处理为将连续的特征值函数转化为有限离散序列函数，并采用降噪转换函数对其进行降噪转换，所述降噪转换函数为快速Fourier变换函数。
[0026]进一步的，所述基础数据包括硬件序列号、软件版本；所述特征数据包括预设参数、传感器监测数据、参数差值、警报信息、数据采集时间。
[0027]进一步的，所述数据分包处理为将特征数据压缩为特征数据包并经特征标记，将基础数据压缩为基础数据包并进行特征标记。
[0028]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上文所述的数据处理方法，或者应用上文所述的数据处理系统进行数据处理。
[0029]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上文所述的数据处理方法，或者应用上文所述的数据处理系统进行数据处理。
[0030]本专利技术具有以下有益效果：
[0031]1)、本专利技术提供了一种数据处理方法，借助本专利技术的数据处理方法，可以将采集自不同厂家、不同规格、不同型号、不同品牌硬件的数据进行统一处理，最终得到具有统一格式的一致性、同一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述数据分析方法包括如下步骤：步骤1：数据正态化处理；步骤2：数据标准化处理；步骤3：数据归一化处理；步骤4：数据打包处理得到数据包；步骤5：提取步骤4中得到的数据包并进行数据标记；其中，所述步骤4中的数据打包处理包括数据特征化处理、数据降噪处理以及数据分包处理；所述步骤4中得到的数据包分为特征数据包和基础数据包；所述步骤4中的数据打包处理采用数据打包函数进行处理，所述数据打包函数具体为：其中n≤10；其中：M为数据特征函数；n为数据中包含的特征数量；x为数据的若干特征值中某一个特征值的特征指数，具体为：其中的γ为数据的l个特征值所组成的矩阵所对应的秩；μ为数据的特征组成的矩阵的特征向量，L为数据特征值的特征向量。2.根据权利要求1所述的数据处理方法，其特征在于，所述步骤1的数据正态化处理为将特征值非正态分布的数据通过正态处理函数处理为特征值正态分布的函数；所述正态处理函数为：3.根据权利要求1所述的数据处理方法，其特征在于，所述步骤2的数据标准化处理为将正态处理后的数据特征值通过标准化函数变更为标准化特征值，所述标准化函数为：4.根据权利要求1所述的数据处理方法，其特征在于，所述步骤3的数据归一化处理为对数据特征值的特征向量进行归一化运算，归一化...

【专利技术属性】
技术研发人员：吴佳，李礼，吴叶楠，
申请(专利权)人：上海威固信息技术股份有限公司，
类型：发明
国别省市：