一种基于网络流量大数据的异常信息发现方法技术

本发明专利技术提供了一种基于网络流量大数据的异常信息发现方法，涉及网络安全和大数据技术领域，能够利用人工智能技术发挥网络流量大数据的优势，扩展数据维度、增大数据挖掘深度、提高异常发现敏捷性，有效提高刑侦稽查的工作效率；该方法包括：对网络流量数据预处理和解析；按用户标识聚合得到用户时序轨迹数据；提取地理位置信息并聚合，得到空间索引数据；提取用户属性；按用户聚合，得到用户的话单关系网络和社交关系网络；对前述数据进行融合，获得空间特征、社交关系标签、抽象语义轨迹和设备与账号标签，并扩展用户的标签；设定异常信息的匹配规则；进行异常信息匹配得到异常信息并输出。本发明专利技术提供的技术方案适用于网络异常信息发现的过程中。

An anomaly information discovery method based on big data of network traffic

【技术实现步骤摘要】
一种基于网络流量大数据的异常信息发现方法
本专利技术涉及网络安全和大数据
，尤其涉及一种基于网络流量大数据的异常信息发现方法。
技术介绍
随着移动设备的普及，以及移动互联网、物联网的大力发展，每个人、每台设备都成为了社会信息网络中的一个节点。人们的生活、工作、学习已经和网络密不可分，每一次点击和操作都将产生流量，从而在网络中留下痕迹。网络流量大数据包含用户标识、时间戳、接入基站信息、访问HOST、访问URL，如果含有话单数据，则还包含通话时间、通话时长、通话对端用户标识。可以认为网络世界是真实世界的某种映射，网络中出现的异常信息往往对应着现实世界中的一些异常事件。如果能从网络流量数据中发现不利于社会稳定的异常事件的发生(例如逃窜人员、网络诈骗、非法聚众等等)，这样就能及早作出应对，防患于未然，维持社会治安。目前，常用的异常信息发现方法，将异常信息局限在应用层面(使用了某个特定APP)，更深层的发现方法能到简单的行为层(在某个特定APP内进行了特定的操作，例如点击某按钮)，即：根据专家知识提炼出异常信息对应的URL正则公式，然后对网络流量大数据进行匹配。这样的方法过于简单，没有发挥出大数据真正的价值，而且容易被反侦查混淆，并且在发现异常的时候，事件已经发生，无法做到预防告警的目的。因此，有必要研究一种新型的基于网络流量大数据的异常信息发现方法，充分利用大数据以及人工智能技术，来应对现有技术的不足，以解决或减轻上述一个或多个问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于网络流量大数据的异常信息发现方法，通过人工智能技术充分发挥网络流量大数据的优势，扩展数据维度、增大数据挖掘深度、提高异常发现敏捷性，实现异常信息的自动化发现和推送，有效提高刑侦稽查以及治安维护的工作效率。一方面，本专利技术提供一种基于网络流量大数据的异常信息发现方法，其特征在于，所述方法的步骤包括：S1、对网络流量数据进行预处理，按预先设置好的规则过滤数据；S2、对预处理后的网络流量数据进行解析，并将解析结果添加到相应的字段当中；S3、对S2中解析后的数据按用户标识进行聚合，得到用户时序轨迹数据；S4、对S2中解析后的数据进行处理，提取地理位置信息，并对地理位置信息进行周期性的聚合，得到空间索引数据；S5、对S2中解析后的数据进行处理，提取用户属性；S6、对S2中解析后的数据按用户进行聚合，得到用户的话单关系网络和社交关系网络；S7、对S3、S4、S5和/或S6中的数据进行融合，获得空间特征、用户的社交关系标签、用户的抽象语义轨迹和用户的设备与账号标签，并扩展用户的标签；S8、设定异常信息的匹配规则；S9、根据匹配规则进行异常信息匹配，得到异常信息并输出；S3～S6的顺序不固定。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述解析结果包括访问领域、访问应用、访问行为和访问内容；所述解析结果成为原始数据的一部分，为后续分析提供数据支撑。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，对网络流量数据的预处理包括对数据进行清洗过滤，过滤的数据包括特殊数据和异常数据；所述特殊数据包括预先设置好的用户白名单、URL白名单、HOST白名单以及区域白名单；所述异常数据是在收集和传输过程中由于不可控因素造成的数据缺失以及数据噪声；所述异常数据包括字段丢失、地理位置偏移不符合要求和字段不符合要求的数据。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S3具体内容包括：对S2中每个用户的数据进行聚合处理，得到每个用户按时间顺序所对应的流量轨迹，每个轨迹点包含流量产生时间、流量产生地点、访问领域、访问应用和访问行为；聚合周期根据数据的具体情况而定；聚合后将用户时序轨迹数据存储在时序数据库中。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S4的具体内容包括：提取S2中数据的地理位置信息，建立索引，对每个位置索引进行周期性聚合后得到该周期内在该索引代表范围内出现过的用户、领域、应用、行为和内容，获得空间索引数据；地理位置信息包括基站信息、经纬度、街道名称和楼宇名称。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S5中用户属性包括第一用户属性和第二用户属性；第一用户属性为：用户访问流量中携带的明文属性信息；第二用户属性为：根据用户访问流量中的信息进行互联网爬取，进而提炼得到的互联网属性信息。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S6中话单关系网络获得方式为：提取用户所有的通话记录，统计每个通话对象对应的通话频次和通话时长，并对其进行排序，过滤掉陌生人的通话关系，从而建立用户的话单关系网络；所述S6中社交关系网络的获得方式为：从用户访问的流量中获取用户的相关社交账号主页，再获取用户的关注列表以及被关注列表，从而获取用户的社交关系网络。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S7的具体步骤包括：S71、对S4中的空间索引数据进行聚类模型分析，并融合S5和S6中的数据，提取空间特征；S72、对S5中的用户属性进行自然语言处理模型分析，并融合S3、S4和S6中的数据，扩展用户的标签；S73、对S6中的话单关系网络和社交关系网络进行关系网模型分析，并融合S3、S4和S5中的数据，得到用户的社交关系标签；S74、对S3中的用户时序轨迹数据进行过滤，并融合S4、S5和S6中的数据，得到用户的抽象语义轨迹；S75、对S5中的用户属性进行信息提取和聚合，得到用户的设备与账号标签；S71～S75的顺序不固定。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S8中的匹配规则包括：模式匹配规则和深度学习模型规则。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S9中异常信息包括异常用户、异常区域、异常应用和异常群体；匹配方式为实时匹配和/或离线匹配。与现有技术相比，本专利技术可以获得包括以下技术效果：本专利技术基于网络流量大数据，将时序数据、空间数据、互联网数据相融合的异常信息发现方法，通过数据融合的方式扩展数据维度，通过人工智能分析增大数据挖掘的深度，通过灵活的规则配置提升异常信息发现的敏捷性，做到异常信息的自动化发现，信息自动推送，发挥了网络流量大数据的优势，有效提高了刑侦稽查以及治安维护的工作效率。当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有技术效果。【附图说明】为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本专利技术本文档来自技高网...

【技术保护点】
1.一种基于网络流量大数据的异常信息发现方法，其特征在于，所述方法的步骤包括：/nS1、对网络流量数据进行预处理，按预先设置好的规则过滤数据；/nS2、对预处理后的网络流量数据进行解析，并将解析结果添加到相应的字段当中；/nS3、对S2中解析后的数据按用户标识进行聚合，得到用户时序轨迹数据；/nS4、对S2中解析后的数据进行处理，提取地理位置信息，并对地理位置信息进行周期性的聚合，得到空间索引数据；/nS5、对S2中解析后的数据进行处理，提取用户属性；/nS6、对S2中解析后的数据按用户进行聚合，得到用户的话单关系网络和社交关系网络；/nS7、对S3、S4、S5和/或S6中的数据进行融合，获得空间特征、用户的社交关系标签、用户的抽象语义轨迹和用户的设备与账号标签，并扩展用户的标签；/nS8、设定异常信息的匹配规则；/nS9、根据匹配规则进行异常信息匹配，得到异常信息并输出；/nS3～S6的顺序不固定。/n

【技术特征摘要】
1.一种基于网络流量大数据的异常信息发现方法，其特征在于，所述方法的步骤包括：
S1、对网络流量数据进行预处理，按预先设置好的规则过滤数据；
S2、对预处理后的网络流量数据进行解析，并将解析结果添加到相应的字段当中；
S3、对S2中解析后的数据按用户标识进行聚合，得到用户时序轨迹数据；
S4、对S2中解析后的数据进行处理，提取地理位置信息，并对地理位置信息进行周期性的聚合，得到空间索引数据；
S5、对S2中解析后的数据进行处理，提取用户属性；
S6、对S2中解析后的数据按用户进行聚合，得到用户的话单关系网络和社交关系网络；
S7、对S3、S4、S5和/或S6中的数据进行融合，获得空间特征、用户的社交关系标签、用户的抽象语义轨迹和用户的设备与账号标签，并扩展用户的标签；
S8、设定异常信息的匹配规则；
S9、根据匹配规则进行异常信息匹配，得到异常信息并输出；
S3～S6的顺序不固定。


2.根据权利要求1所述的基于网络流量大数据的异常信息发现方法，其特征在于，所述解析结果包括访问领域、访问应用、访问行为和访问内容；所述解析结果成为原始数据的一部分，为后续分析提供数据支撑。


3.根据权利要求1所述的基于网络流量大数据的异常信息发现方法，其特征在于，对网络流量数据的预处理包括对数据进行清洗过滤，过滤的数据包括特殊数据和异常数据；
所述特殊数据包括预先设置好的用户白名单、URL白名单、HOST白名单以及区域白名单；
所述异常数据是在收集和传输过程中由于不可控因素造成的数据缺失以及数据噪声；所述异常数据包括字段丢失、地理位置偏移不符合要求和字段不符合要求的数据。


4.根据权利要求1所述的基于网络流量大数据的异常信息发现方法，其特征在于，所述S3具体内容包括：对S2中每个用户的数据进行聚合处理，得到每个用户按时间顺序所对应的流量轨迹，每个轨迹点包含流量产生时间、流量产生地点、访问领域、访问应用和访问行为；
聚合周期根据数据的具体情况而定。


5.根据权利要求1所述的基于网络流量大数据的异常信息发现方法，其特征在于，所述S4的具体内容包括：提取S2中数据的地理位置信息，...

【专利技术属性】
技术研发人员：卢永强，罗峰，袁振龙，
申请(专利权)人：北京赋乐科技有限公司，
类型：发明
国别省市：北京;11