一种数据处理方法、系统、存储介质及终端技术方案

本发明专利技术提供一种数据处理方法、系统、存储介质及终端，包括：根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；若不启用算法核验，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警；若启用算法核验，则先通过基础算法进行一次特征比对，再通过核验算法对一次特征比对结果进行解析和二次特征对比，获取核验结果；根据核验结果，进行告警；本发明专利技术通过两种算法共同保障数据的准确性，通过基础算法先初步的一次比对筛选，筛选出一部分数据，再通过其他算法通过核验算法的二次比对筛选，计算出最终的核验数据，在提高了数据的准确性的基础上，降低了成本。降低了成本。降低了成本。

【技术实现步骤摘要】
一种数据处理方法、系统、存储介质及终端


[0001]本专利技术涉及电子领域，尤其涉及一种数据处理方法、系统、存储介质及终端。

技术介绍

[0002]在安防领域中，针对布控告警任务，需要各种各样的算法进行支撑，由于各个算法在准确度上肯定都会存在一定的不准确性，而在一些重要的场景下，由于业务需要，数据又非常的重要，因此，针对这些特定的重要数据，需要提升整体的准确度。
[0003]目前，现有的方式通常包括两种，一种是通过增加训练的量，以提高算法的准确性，但难度很大，另一种是通过使用其他的已经相对成熟的算法，但这种方式会大大提高成本，并且由于核心算法SDK不易获取，对于产品来说，就失去了核心竞争力。有鉴于此，需要一种新的数据处理方法，能够满足针对重要的布控告警的数据，在保证准确性的前提下，不增加额外成本，获得更好的布控告警效果。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本专利技术提供一种数据处理方法、系统、存储介质及终端，以解决上述技术问题。
[0005]本专利技术提供的数据处理方法，包括：
[0006]根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；
[0007]若不启用算法核验，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警；
[0008]若启用算法核验，则先通过基础算法进行一次特征比对，再通过核验算法对一次特征比对结果进行解析和二次特征对比，获取核验结果；
[0009]根据所述核验结果，进行告警。
[0010]与本专利技术的一实施例中，如果所述核验结果大于等于所述告警阈值，且核验结果的数量大于等于核验预设数量，则取前核验预设数量的核验结果进行告警；
[0011]如果所述核验结果大于等于所述告警阈值，且核验结果的数量小于核验预设数量，则以实际数量进行告警；
[0012]如果所述核验结果小于所述告警阈值，则不进行告警。
[0013]与本专利技术的一实施例中，所述通过基础算法进行一次特征比对包括：
[0014]当数据消费后，将通过基础算法解析出来的特征与名单库的数据特征比对，先对比短特征，再根据短特征和长特征的对应关系，对一次特征比对结果进行长特征对比，将长特征对比结果作为核验结果。
[0015]与本专利技术的一实施例中，所述基础预设数量大于所述核验预设数量，一次特征比对结果和长特征对比结果包括相似度；
[0016]所述对一次特征比对结果进行长特征对比之前，包括先从磁盘中加载所述长特征
到内存，再进行比对。
[0017]与本专利技术的一实施例中，当核验服务发生异常时，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警并反馈异常信息。
[0018]与本专利技术的一实施例中，根据所述异常信息通过新进程启用算法核验，如服务恢复，则以核验结果进行告警，如服务未回复，则继续以一次特征对比结果的基础预设数量进行告警。
[0019]本专利技术还提供一种数据处理系统，包括：
[0020]配置模块，用于根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；
[0021]告警模块，用于进行告警；
[0022]若不启用算法核验，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警；
[0023]若启用算法核验，则先通过基础算法进行一次特征比对，再通过核验算法对一次特征比对结果进行解析和二次特征对比，获取核验结果；
[0024]告警模块根据所述核验结果，进行告警。
[0025]与本专利技术的一实施例中，如果所述核验结果大于等于所述告警阈值，且核验结果的数量大于等于核验预设数量，则取前核验预设数量的核验结果进行告警；
[0026]如果所述核验结果大于等于所述告警阈值，且核验结果的数量小于核验预设数量，则以实际数量进行告警；
[0027]如果所述核验结果小于所述告警阈值，则不进行告警。
[0028]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一项所述方法。
[0029]本专利技术还提供一种电子终端，包括：处理器及存储器；
[0030]所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述中任一项所述方法。
[0031]本专利技术的有益效果：本专利技术中的数据处理方法，通过两种算法共同保障数据的准确性，通过基础算法先初步的一次比对筛选，筛选出一部分数据，再通过其他算法通过核验算法的二次比对筛选，计算出最终的核验数据，在提高了数据的准确性的基础上，降低了成本。
[0032]另外，本专利技术通过基础算法使用长短码，核验算法直接使用长码，极大的减少了内存的使用，同时加快了比对速度，提高了效率。
附图说明
[0033]图1是本专利技术实施例中数据处理方法的整体流程示意图。
[0034]图2是本专利技术实施例中数据处理方法的一实施例的流程示意图。
具体实施方式
[0035]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实
施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0036]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0037]在下文描述中，探讨了大量细节，以提供对本专利技术实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本专利技术的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本专利技术的实施例难以理解。
[0038]如图1所示，本实施例中的数据处理方法，包括：
[0039]S1.根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；
[0040]S2.若不启用算法核验，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警；
[0041]S3.若启用算法核验，则先通过基础算法进行一次特征比对，再通过核验算法对一次特征比对结果进行解析和二次特征对比，获取核验结果；
[0042]S4.根据所述核验结果，进行告警。
[0043]在本实施例的步骤S1中，首先是进行业务配置，配置是否启用算法核验、核验的算法、基础预设数量(基础算法的TopK)、核验预设数量(核验算法的TopN)，以及核验的告警阈值，在本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；若不启用算法核验，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警；若启用算法核验，则先通过基础算法进行一次特征比对，再通过核验算法对一次特征比对结果进行解析和二次特征对比，获取核验结果；根据所述核验结果，进行告警。2.根据权利要求1所述的数据处理方法，其特征在于，如果所述核验结果大于等于所述告警阈值，且核验结果的数量大于等于核验预设数量，则取前核验预设数量的核验结果进行告警；如果所述核验结果大于等于所述告警阈值，且核验结果的数量小于核验预设数量，则以实际数量进行告警；如果所述核验结果小于所述告警阈值，则不进行告警。3.根据权利要求2所述的数据处理方法，其特征在于，所述通过基础算法进行一次特征比对包括：当数据消费后，将通过基础算法解析出来的特征与名单库的数据特征比对，先对比短特征，再根据短特征和长特征的对应关系，对一次特征比对结果进行长特征对比，将长特征对比结果作为核验结果。4.根据权利要求3所述的数据处理方法，其特征在于，所述基础预设数量大于所述核验预设数量，一次特征比对结果和长特征对比结果包括相似度；所述对一次特征比对结果进行长特征对比之前，包括先从磁盘中加载所述长特征到内存，再进行比对。5.根据权利要求1
‑
4任一所述的数据处理方法，其特征在于，当核验服务发生异常时，则通过基础算法进行一次特征比对...

【专利技术属性】
技术研发人员：贺宁，魏程琛，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：