【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种数据去重的方法、装置、终端及介质。
技术介绍
1、随着物联网的发展，人们对设备上报数据的质量要求越来越高，在状态变化型数据的上报场景中，其数据在某几个值之间反复变换，采用数据去重的方式进行数据上报，能够减少数据传输过程中的带宽成本，同时降低数据存储成本，提升数据分析效率。
2、但是，现有的状态变化型数据的上报场景，只能粗略识别到整条上报消息，只有当识别到整条上报消息与前一时间段的整条上报消息完全重复时，才会将数据去重，再上报。同时，现有的状态变化型数据只在整体数据状态发生变化时才会上报，其上报时间不稳定。可见，现有的数据去重技术的适应场景单一，不能精确到单属性数据进行数据去重，无法判断单属性交叉上报情景、以及单属性和多属性混合上报等情景时的数据重复上报情况。
3、因此，现有技术还有待改进和提高。
技术实现思路
1、本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种数据去重的方法、装置、终端及介质，旨在解决现有技术中状态变化型数据上报场景的数据上报时间不稳定，且数据上报精度低、只能对整条消息的数据状态进行判断，适应场景单一，不能达到精确的数据上报效果的问题。
2、为了解决上述技术问题，本专利技术所采用的技术方案如下：
3、第一方面，本专利技术提供一种数据去重的方法，其中，所述方法包括：
4、接收去重规则，确定目标去重数据的去重属性；
5、读取初始上报数据，并根据所
6、对所述已上报场景的初始上报数据进行单属性识别，得到第一单属性数据，基于所述第一单属性数据，确定第一目标上报数据；
7、对所述预上报场景的初始上报数据进行单属性识别，得到第二单属性数据，基于所述第一单属性数据、所述第二单属性数据和所述去重属性，确定第二目标上报数据和所述目标去重数据。
8、在一种实现方式中，所述读取初始上报数据，并根据所述初始上报数据的数据状态，确定所述初始上报数据的上报场景，所述上报场景包括已上报场景和预上报场景，包括：
9、获取初始上报数据，监测所述初始上报数据的数据状态；
10、当所述初始上报数据的数据状态未发生改变时，确定所述初始上报数据的上报场景为所述已上报场景；
11、当所述初始上报数据的数据状态发生改变时，确定所述初始上报数据的上报场景为所述预上报场景。
12、在一种实现方式中，所述对所述已上报场景的初始上报数据进行单属性识别，得到第一单属性数据，基于所述第一单属性数据，确定第一目标上报数据，包括：
13、将所述已上报场景的初始上报数据进行属性分离，得到第一单属性数据；
14、将所述第一单属性数据作为所述第一目标上报数据。
15、在一种实现方式中，所述对所述预上报场景的初始上报数据进行单属性识别，得到第二单属性数据，基于所述第一单属性数据、所述第二单属性数据和所述去重属性，确定第二目标上报数据和所述目标去重数据，包括：
16、对所述预上报场景的初始上报数据进行单属性识别，得到第二单属性数据；
17、基于所述第一单属性数据、所述第二单属性数据和所述去重属性，确定所述目标去重数据；
18、基于所述第二单属性数据和所述目标去重数据，得到所述第二目标上报数据。
19、在一种实现方式中，所述基于所述第一单属性数据、所述第二单属性数据和所述去重属性，确定所述目标去重数据，包括：
20、将所述第二单属性数据和所述去重属性进行对比，得到所述第二单属性数据中属于所述去重属性的第一去重数据；
21、将所述第一去重数据与所述第一单属性数据进行对比，得到所述去重数据等于所述第一目标上报数据的第二去重数据；
22、基于所述第二去重数据，确定所述目标去重数据。
23、在一种实现方式中，所述基于所述第二单属性数据和所述目标去重数据，得到所述第二目标上报数据，包括：
24、将所述第二单属性数据减去所述目标去重数据，得到所述第二目标上报数据。
25、在一种实现方式中，所述方法还包括：
26、设置记忆时间，根据所述记忆时间，确定所述初始上报数据的上报场景。
27、第二方面，本专利技术实施例还提供一种数据去重的装置，其中，所述装置包括：
28、去重属性确定模块，用于接收去重规则，确定目标去重数据的去重属性；
29、上报场景确定模块，用于读取初始上报数据，并根据所述初始上报数据的数据状态，确定所述初始上报数据的上报场景，所述上报场景包括已上报场景和预上报场景；
30、第一目标上报数据确定模块，用于对所述已上报场景的初始上报数据进行单属性识别，得到第一单属性数据，基于所述第一单属性数据，确定第一目标上报数据；
31、第二目标上报数据确定模块，用于对所述预上报场景的初始上报数据进行单属性识别，得到第二单属性数据，基于所述第一单属性数据、所述第二单属性数据和所述去重属性，确定第二目标上报数据和所述目标去重数据。
32、第三方面，本专利技术实施例还提供一种终端，其中，所述终端包括存储器、处理器及存储在存储器中并可在处理器上运行的数据去重的程序，处理器执行所述数据去重的程序时，实现上述方案中任一项的数据去重的方法的步骤。
33、第四方面，本专利技术实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质上存储有数据去重的程序，所述数据去重的程序被处理器执行时，实现上述方案中任一项所述的数据去重的方法的步骤。
34、有益效果：与现有技术相比，本专利技术提供了一种数据去重的方法、装置、终端及介质，首先接收去重规则，确定目标去重数据的去重属性。然后，读取初始上报数据，并根据所述初始上报数据的数据状态，确定所述初始上报数据的上报场景，所述上报场景包括已上报场景和预上报场景。接着，对所述已上报场景的初始上报数据进行单属性识别，得到第一单属性数据，基于所述第一单属性数据，确定第一目标上报数据。最后，对所述预上报场景的初始上报数据进行单属性识别，得到第二单属性数据，基于所述第一单属性数据、所述第二单属性数据和所述去重属性，确定第二目标上报数据和所述目标去重数据。可见，本专利技术能够精确到单属性进行数据去重，提高了上报数据的精确度，也扩宽了数据去重方法的适用场景。
本文档来自技高网...【技术保护点】
1.一种数据去重的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据去重的方法，其特征在于，所述读取初始上报数据，并根据所述初始上报数据的数据状态，确定所述初始上报数据的上报场景，所述上报场景包括已上报场景和预上报场景，包括：
3.根据权利要求2所述的数据去重的方法，其特征在于，所述对所述已上报场景的初始上报数据进行单属性识别，得到第一单属性数据，基于所述第一单属性数据，确定第一目标上报数据，包括：
4.根据权利要求3所述的数据去重的方法，其特征在于，所述对所述预上报场景的初始上报数据进行单属性识别，得到第二单属性数据，基于所述第一单属性数据、所述第二单属性数据和所述去重属性，确定第二目标上报数据和所述目标去重数据，包括：
5.根据权利要求4所述的数据去重的方法，其特征在于，所述基于所述第一单属性数据、所述第二单属性数据和所述去重属性，确定所述目标去重数据，包括：
6.根据权利要求5所述的数据去重的方法，其特征在于，所述基于所述第二单属性数据和所述目标去重数据，得到所述第二目标上报数据，包括：
7
8.一种数据去重的装置，其特征在于，所述装置包括：
9.一种终端，其特征在于，所述终端包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的数据去重的程序，所述处理器执行所述数据去重的程序时，实现如权利要求1-7任一项所述的数据去重的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据去重的程序，所述数据去重的程序被处理器执行时，实现如权利要求1-7任一项所述的数据去重的方法的步骤。
...【技术特征摘要】
1.一种数据去重的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据去重的方法，其特征在于，所述读取初始上报数据，并根据所述初始上报数据的数据状态，确定所述初始上报数据的上报场景，所述上报场景包括已上报场景和预上报场景，包括：
3.根据权利要求2所述的数据去重的方法，其特征在于，所述对所述已上报场景的初始上报数据进行单属性识别，得到第一单属性数据，基于所述第一单属性数据，确定第一目标上报数据，包括：
4.根据权利要求3所述的数据去重的方法，其特征在于，所述对所述预上报场景的初始上报数据进行单属性识别，得到第二单属性数据，基于所述第一单属性数据、所述第二单属性数据和所述去重属性，确定第二目标上报数据和所述目标去重数据，包括：
5.根据权利要求4所述的数据去重的方法，其特征在于，所述基于所述第一单属性...
【专利技术属性】
技术研发人员：吴雪鸣，
申请(专利权)人：深圳开鸿数字产业发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。