一种网络靶场大规模场景中靶标的快速查询方法与系统技术方案

本发明专利技术公开了一种网络靶场大规模场景中靶标的快速查询方法与系统。本发明专利技术引入缓存服务，建立一级缓存用于缓存靶标的第一类信息，二级缓存用于缓存靶标的第一类信息与比第一类信息变动批次高、查询频次低的第二类信息；并且通过主动更新和周期性同步机制更新一级缓存和二级缓存，保证缓存中靶标信息的实时性和准确性；由缓存服务接收到靶标查询请求，从一级缓存或二级缓存中查询靶标信息。本发明专利技术能够解决网络靶场大规模场景下，因靶标种类不同、靶标数量巨大而导致的靶标查询缓慢的问题。分级缓存和主动更新机制，既能兼顾性能又能应对复杂查询场景需求，并且兼容性和可扩展性高。性高。性高。

【技术实现步骤摘要】
一种网络靶场大规模场景中靶标的快速查询方法与系统


[0001]本专利技术涉及一种网络靶场大规模场景中靶标的快速查询方法与系统，属于计算机软件、网络安全


技术介绍

[0002]网络靶场是一种基于虚拟化技术，对真实网络空间中的网络架构、系统设备、业务流程的运行状态及运行环境进行模拟和复现的技术或产品，以更有效地实现与网络安全相关的学习、研究、检验、竞赛、演习等行为，从而提高人员及机构的网络安全对抗水平。随着信息时代的不断发展，网络靶场不仅仅包含了在线网络攻防学习环境、网络安全赛事平台、网络安全技术测评研究平台，城市级甚至国家级的网络攻防演练平台等，也在往靶场范围数字化、靶场能力多样化的方向发展。而且随着支持规模的量级差异、模拟环境的复杂程度、各行业应用场景的不同、网络靶场的靶标数量级也有很大的差异。
[0003]靶标的种类大致可分为虚拟靶标、实体靶标。虚拟靶标包括虚拟机靶标、容器靶标、虚拟交换机、虚拟路由器等；实体靶标包括交换机、路由器、服务器、仿真设备等。
[0004]在目前的网络靶场环境中，虚拟靶标一般是基于OpenStack搭建的云平台构建的，实体靶标基于其他管理服务进行构建的，靶标查询涉及流程如图1所示。包括如下步骤：1、用户下发靶标查询请求到dashboard，dashboard将请求发送到控制服务；2、控制服务负责和nova、zun、neutron等组件交互，然后nova、zun、neutron等组件分别从数据库内获取虚拟机靶标、容器靶标、虚拟交换机靶标、虚拟路由器靶标等靶标信息经过封装转换返回给控制服务；3、控制服务直接和数据库服务交互获取实体靶标的信息；4、控制服务将虚拟靶标信息和实体靶标信息进行封装然后返回给dashboard进行数据渲染。
[0005]现有靶标查询流程存在如下问题：1、从发起请求到获取靶标信息的网络路径长开销大；2、靶标查询速度和靶标数量、靶标种类成正相关，靶标数量级越大，靶标种类越复杂，查询速度越慢，影响使用体验；3、每次查询涉及组件多，少量数据更新也需全量查询；4、获取靶标信息时只能全量查询，然后前端分页，开销较大；5、大规模场景下服务不仅需要应对组件内部的压力，还需要应对高并发、高吞吐的用户查询压力，组件性能得不到保障。
[0006]针对以上问题，常见的两类解决方案是：一、使用API分页。这种方案采用的是分而治之的思想，需要多少数据通过分页查询多少数据，将查询数据控制在一定范围内。缺点如下：靶标单一的场景下能很好解决速度慢的问题，靶标复杂的场景涉及组件总多，每个组件分页查询方式不统一，分页难度大，无法覆盖全量数据查询场景、和搜索场景；大规模场景下，意味着用户的量级也会剧增，高并发的场景下依然会存在性能瓶颈。二、优化各个组件的性能。组件可以采用多副本，提高并发查询能力，数据库可以使用高速缓存盘进行硬件加速，DB智能代理实现读写分离，优化数据查询性能，不同靶标查询时进行算法优化并行查询。该方案虽然缓解了查询速度慢，但未从根本上解决问题，且优化范围较广，优化难道较大。

技术实现思路

[0007]专利技术目的：针对上述现有技术存在的问题，本专利技术目的在于提供一种网络靶场大规模场景中靶标的快速查询方法与系统，以解决网络靶场大规模场景下，因靶标种类不同、靶标数量巨大而导致的靶标查询缓慢的问题。
[0008]技术方案：为实现上述专利技术目的，本专利技术提供的一种网络靶场大规模场景中靶标的快速查询方法，包括如下步骤：建立用于缓存靶标的第一类信息一级缓存，以及用于缓存靶标的第一类信息和第二类信息的二级缓存；所述第一类信息的查询频次高于第二类信息，在靶标生命周期内的变动频次低于第二类信息；通过主动更新和周期性同步机制更新一级缓存和二级缓存，保证缓存中靶标信息的实时性和准确性；所述主动更新包括基于rpc notification机制和/或key订阅机制实时感知靶标信息的变化，以查询最新靶标信息更新到一级缓存和二级缓存；接收到靶标查询请求时，从一级缓存或二级缓存查询靶标信息。
[0009]进一步地，所述主动更新包括：基于rpc notification机制感知虚拟靶标信息变动，监听虚拟机管理平台组件服务在虚拟靶标创建、删除或信息变动时发出的通知消息，根据通知消息中涉及到的虚拟靶标，通过组件服务接口以单个虚拟靶标为单位获取最新靶标信息以更新缓存，或者对于删除消息则删除缓存中对应的虚拟靶标。
[0010]进一步地，所述主动更新包括：基于key订阅机制感知实体靶标信息变动，为实体靶标集合以及每个实体靶标分别创建订阅key，在实体设备控制服务创建、删除或更新实体靶标时更新相应订阅key对应的value值，从而感知实体靶标信息变动，在感知到有信息变动后，进行缓存中对应靶标的信息同步。
[0011]进一步地，所述周期性同步包括：根据配置时间周期性全量或分批次获取最新的靶标信息，更新一级缓存和二级缓存。
[0012]作为优选，所述一级缓存采用Redis，基于内存实现；所述二级缓存采用etcd，同时实现靶标资源的订阅功能。
[0013]基于相同的专利技术构思，本专利技术提供的一种网络靶场大规模场景中靶标的快速查询系统，包括：一级缓存模块，用于缓存靶标的第一类信息，二级缓存模块，用于缓存靶标的第一类信息和第二类信息；所述第一类信息的查询频次高于第二类信息，在靶标生命周期内的变动频次低于第二类信息；缓存服务模块，用于建立一级缓存模块和二级缓存模块，接收到靶标查询请求时，从一级缓存模块或二级缓存模块查询靶标信息，以及，用于通过主动更新和周期性同步机制更新一级缓存和二级缓存，保证缓存中靶标信息的实时性和准确性。
[0014]进一步地，所述缓存服务模块采用多副本方式提升响应能力。
[0015]基于相同的专利技术构思，本专利技术提供的一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的网络靶场大规模场景中靶标的快速查询方法的步骤。
[0016]有益效果：与现有技术相比，本专利技术具有如下优点：1、本专利技术引入缓存方案，靶标查询的路径开销大大缩短，靶标信息统一封装缓存和读取，能够有效解决大规模场景因靶
标数量大，靶标种类多带来的查询缓慢问题。2、本专利技术通过分级缓存，将常用数据和全量数据进行分流缓存处理，既能兼顾性能又能应对复杂查询场景需求。3、本专利技术结合主动更新和周期性校验机制，既能保证实时性、准确性又能提高大规模场景下的查询速度。主动更新可以复用现有虚拟平台组件服务关于资源变动的rpc notification机制，也可以使用订阅机制实现靶标信息变动的实时感知，兼容性和可扩展性高。4、缓存可以采用内存型的数据库实现，具有速度快、性能高的特点，高并发场景下分担了靶标原有各个服务和数据库的压力。5、大规模场景下，主动更新机制可以实现靶标资源变动局部更新，有效避免全量更新带来的查询速度慢、负载高的问题。
附图说明
[0017]图1为现有靶标查询流程示意图。
[0018]图2为本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络靶场大规模场景中靶标的快速查询方法，其特征在于，包括如下步骤：建立用于缓存靶标的第一类信息一级缓存，以及用于缓存靶标的第一类信息和第二类信息的二级缓存；所述第一类信息的查询频次高于第二类信息，在靶标生命周期内的变动频次低于第二类信息；通过主动更新和周期性同步机制更新一级缓存和二级缓存，保证缓存中靶标信息的实时性和准确性；所述主动更新包括基于rpc notification机制和/或key订阅机制实时感知靶标信息的变化，以查询最新靶标信息更新到一级缓存和二级缓存；接收到靶标查询请求时，从一级缓存或二级缓存查询靶标信息。2.根据权利要求1所述的网络靶场大规模场景中靶标的快速查询方法，其特征在于，所述主动更新包括：基于rpc notification机制感知虚拟靶标信息变动，监听虚拟机管理平台组件服务在虚拟靶标创建、删除或信息变动时发出的通知消息，根据通知消息中涉及到的虚拟靶标，通过组件服务接口以单个虚拟靶标为单位获取最新靶标信息以更新缓存，或者对于删除消息则删除缓存中对应的虚拟靶标。3.根据权利要求1所述的网络靶场大规模场景中靶标的快速查询方法，其特征在于，所述主动更新包括：基于key订阅机制感知实体靶标信息变动，为实体靶标集合以及每个实体靶标分别创建订阅key，在实体设备控制服务创建、删除或更新实体靶标时更新相应订阅key对应的value值，从而感知实体靶标信息变动，在感知到有信息变动后，进行缓存中对应靶标的信息同步。4.根据权利要求1所述的网络靶场大规模场景中靶标的快速查询方法，其特征在于，所述周期性同步包括：根据配置时间周期性全量或分批次获取最新的靶标信息，更新一级缓存和二级缓存。5.根据权利要求1所述的网络靶场大规模场景中靶标的快速查询方法，其特征在于，所述一级缓存采用Redis，基于内存实现；所述二级缓存采用etcd，同时实现靶标资源的订阅功能。6.一种网络靶场大规模场景中靶标的快速查询系统，其特征...

【专利技术属性】
技术研发人员：李战举，谢峥，高庆官，曲原，王鹏，
申请(专利权)人：南京赛宁信息技术有限公司，
类型：发明
国别省市：