一种互联网流量异常检测的方法、装置及设备制造方法及图纸

本发明专利技术公开一种互联网流量异常检测的方法、装置及设备，属于互联网的流量技术领域，特别涉及一种互联网流量异常检测的方法，包括，从媒体平台收集用户流量；采用预先根据卷积神经网络算法和本地黑、白库的流量训练得到的分类模型，对所述用户流量进行分类，并将得到的分类结果保存至数据库中；获取预设时间内的用户流量，将其作为新流量，计算所述新流量占所有流量的比例，根据得到的新流量占比结果判断是否需要更新所述分类模型；在需要更新所述分类模型的情形下，以所有流量作为输入数据，基于卷积神经网络算法进行训练，用得到的结果更新分类模型。

【技术实现步骤摘要】
一种互联网流量异常检测的方法、装置及设备
本专利技术属于互联网的流量
，特别涉及一种互联网流量异常检测的方法、装置及设备。
技术介绍
随着网络技术的飞速发展，在当今互联网领域，每天都在源源不断的产生庞大的流量。在这庞大的流量中，隐藏着相当大一部分的异常流量，异常流量通常是由团体或个人伪造用户或用户行为产生的，异常流量的存在能够扰乱正常的业务进行。在当今，互联网流量对广告投放有着至关重要的作用，在广告的精准投放过程中，很容易被异常流量误导而做出错误的推送，影响广告业务的回报。对此，识别流量中的异常流量和作弊行为有着十分重要的意义。本专利技术经研究发现，现有技术中，检测和识别异常流量的方法准确率低。
技术实现思路
为了至少解决上述技术问题，本专利技术提供了一种互联网流量异常检测的方法、装置及设备。根据本专利技术第一方面，提供了一种互联网流量异常检测的方法，包括：从媒体平台收集用户流量；采用预先根据卷积神经网络算法和本地黑、白库的流量训练得到的分类模型，对所述用户流量进行分类，并将得到的分类结果保存至数据库中；获取预设时间内的用户流量，将其作为新流量，计算所述新流量占所有流量的比例，根据得到的新流量占比结果判断是否需要更新所述分类模型；在需要更新所述分类模型的情形下，以所有流量作为输入数据，基于卷积神经网络算法进行训练，用得到的结果更新分类模型。进一步地，所述从媒体平台收集用户流量后还包括，根据用户的设备ID判断是否为新用户。进一步地，所述根据用户的设备ID判断不是新用户的情形下，若用户的设备ID只出现在黑库中，则根据用户的设备ID最近出现在黑库中的时间范围对用户流量进行分类，并将得到的分类结果保存至数据库中。进一步地，所述根据用户的设备ID判断不是新用户的情形下，若用户的设备ID出现在白库，则采用预先根据卷积神经网络算法和本地黑白库的流量训练得到的分类模型，对用户流量进行分类，并将得到的分类结果保存至数据库中。进一步地，所述根据用户的设备ID判断是否为新用户，包括，根据用户的设备ID查询数据库，判断用户的设备ID是否在已经存在数据库中，若存在于数据库中，则判定不是新用户；若未存在于数据库中，则判定为新用户。进一步地，所述采用预先根据卷积神经网络算法和本地黑、白库的流量训练得到的分类模型，对所述用户流量进行分类，并将得到的分类结果保存至数据库中，包括，采用词向量工具对用户流量进行向量化，将得到的向量化结果输入到分类模型中，对用户流量进行分类，保存得到的分类结果至数据库中；所述分类模型为采用预先以卷积神经网络算法为基础，以本地黑白库的流量作为数据，训练得到的模型。进一步地，所述保存得到的分类结果至数据库中，包括，将异常流量保存至黑库中，将正常流量保存至白库中。在本专利技术第二方面，一种互联网流量异常检测的装置，包括：流量采集模块，用于从媒体平台收集用户流量；分类模块，与所述流量采集模块连接，用于采用预先根据卷积神经网络算法和本地黑、白库的流量训练得到的分类模型，对所述用户流量进行分类，并将得到的分类结果保存至数据库中；判断模块，与所述流量采集模块连接，用于获取预设时间内的用户流量，将其作为新流量，计算所述新流量占所有流量的比例，根据得到的新流量占比结果判断是否需要更新所述分类模型；更新模块，分别与所述流量采集模块和所述判断模块连接，用于在需要更新所述分类模型的情形下，以所有流量作为输入数据，基于卷积神经网络算法进行训练，用得到的结果更新分类模型。在本专利技术第三方面，一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任一项所述方法的步骤。在本专利技术第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有程序，所述程序被执行时，能够实现如上任一项所述的方法。本专利技术的有益效果：本专利技术基于卷积神经网络算法进行训练，用得到的结果更新分类模型，以保证分类模型在对流量进行分类时的精度和准确度本专利技术能够实现对异常流量准确高效的检测，并对互联网的流量进行实时的监测，为精准的广告投放提供可靠的流量，保障业务的正常开展。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，图1为本专利技术提供的一种互联网流量异常检测的方法流程图；图2为本专利技术提供的另一种互联网流量异常检测的方法流程图；图3为本专利技术提供的一种分类模型工作流程图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。为了更清楚地说明本专利技术，下面结合优选实施例和附图对本专利技术做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本专利技术的保护范围。在本专利技术的第一方面，提供了一种互联网流量异常检测的方法，如图1所示，包括：在本专利技术的第一方面，提供了一种互联网流量异常检测的方法，如图1所示，包括：步骤101：从媒体平台收集用户流量；在本专利技术实施例中，从媒体平台上收集流量，其中，流量包括，包括用户的基本信息和用户在媒体上的行为信息。本专利技术中，媒体平台包括手机端的各种应用程序，如：抖音，快手，今日头条，腾讯新闻等，用户流量包括用户基本信息和用户在应用程序端的行为。步骤102：采用预先根据卷积神经网络算法和本地黑白库的流量训练得到的分类模型，对用户流量进行分类，并将得到的分类结果保存至数据库中；在本专利技术实施例中，系统可以预先以卷积神经网络算法为基础，以本地黑白库的流量作为数据，训练出分类模型。其中，卷积神经网络算法可以为循环神经网络（RNN，RecurrentNeuronNetwork）。在对用户流量进行分类时，采用词向量工具对用户流量进行向量化，将得到的向量化结果输入到分类模型中，对用户流量进行分类。进一步地，可以采用词向量工具中的Word2Vec对用户流量进行向量化，包括，将用户流量映射为实数向量，得到文本的向量化。本实施例中，采用Word2vec能够高效准确的将自然语言映射为实数向量，也就是将文本数据转换为向量形式，即实现了文本的向量化。文本被映射为向量后，即可应用各种AI学习算法对其进行处理。本专利技术方法，通过使用Word2vec开源工具，使用简单高效，能够实现词嵌入的同时，比普通的词向量工具维度更低，训练速度更快，而且通用性强，几乎适用于所有的语言场景。在本专利技术的另一实施例中，根据分类模型输出的结果对用户流量进行分类，具体包括：在分类模型输出的结果为第一预设值的情形下，则判定用户流量为正常流量。相对应的，在分类模型输本文档来自技高网...

【技术保护点】
1.一种互联网流量异常检测的方法，其特征在于，包括：/n从媒体平台收集用户流量；/n采用预先根据卷积神经网络算法和本地黑、白库的流量训练得到的分类模型，对所述用户流量进行分类，并将得到的分类结果保存至数据库中；/n获取预设时间内的用户流量，将其作为新流量，计算所述新流量占所有流量的比例，根据得到的新流量占比结果判断是否需要更新所述分类模型；/n在需要更新所述分类模型的情形下，以所有流量作为输入数据，基于卷积神经网络算法进行训练，用得到的结果更新分类模型。/n

【技术特征摘要】
1.一种互联网流量异常检测的方法，其特征在于，包括：
从媒体平台收集用户流量；
采用预先根据卷积神经网络算法和本地黑、白库的流量训练得到的分类模型，对所述用户流量进行分类，并将得到的分类结果保存至数据库中；
获取预设时间内的用户流量，将其作为新流量，计算所述新流量占所有流量的比例，根据得到的新流量占比结果判断是否需要更新所述分类模型；
在需要更新所述分类模型的情形下，以所有流量作为输入数据，基于卷积神经网络算法进行训练，用得到的结果更新分类模型。


2.如权利要求1所述的方法，其特征在于，
所述从媒体平台收集用户流量后还包括，根据用户的设备ID判断是否为新用户。


3.如权利要求2所述的方法，其特征在于，
所述根据用户的设备ID判断不是新用户的情形下，若用户的设备ID只出现在黑库中，则根据用户的设备ID最近出现在黑库中的时间范围对用户流量进行分类，并将得到的分类结果保存至数据库中。


4.如权利要求2所述的方法，其特征在于，
所述根据用户的设备ID判断不是新用户的情形下，若用户的设备ID出现在白库，则采用预先根据卷积神经网络算法和本地黑白库的流量训练得到的分类模型，对用户流量进行分类，并将得到的分类结果保存至数据库中。


5.如权利要求2所述的方法，其特征在于，
所述根据用户的设备ID判断是否为新用户，包括，根据用户的设备ID查询数据库，判断用户的设备ID是否在已经存在数据库中，若存在于数据库中，则判定不是新用户；若未存在于数据库中，则判定为新用户。


6.如权利要求1所述的方法，其特征在于，
所述采用预先根据卷积神经网络...

【专利技术属性】
技术研发人员：赵利国，向永清，关涛，
申请(专利权)人：北京智慧易科技有限公司，
类型：发明
国别省市：北京;11