一种网络资产数据存储和查询方法、装置及存储介质制造方法及图纸

本申请公开了一种网络资产数据存储和查询方法、装置及存储介质，包括：将包括若干个第二文档的第一文档存储至非关系型数据库中；第二文档包括时间数据及与时间数据对应的网络资产数据，时间数据为网络资产数据生成和/或修改的时间；根据属性数据建立查询索引然后建立倒排索引表，以使搜索引擎并行查询存储于若干个节点内的若干个数据组。本申请实现了自动化的网络资产管理和监控，提高管理效率和精度，具有良好的横向扩展性和分布式处理能力，可以满足大规模数据的存储和处理需求，提高数据存储和查询的速度和可扩展性。据存储和查询的速度和可扩展性。据存储和查询的速度和可扩展性。

【技术实现步骤摘要】
一种网络资产数据存储和查询方法、装置及存储介质


[0001]本申请涉及网络资产数据存储
，尤其是涉及一种网络资产数据存储和查询方法、装置及存储介质。

技术介绍

[0002]在网络资产数据存储和查询领域，存在的一些现有的方法，比如：关系型数据库：传统的关系型数据库采用基于行和列的二维表存储结构，其中每行表示一个记录，每列表示一个字段。关系型数据库使用SQL作为查询语言，支持关系运算、聚合函数等多种操作。相对于其他数据库，关系型数据库在数据一致性、数据完整性、事务处理等方面具有很强的优势。
[0003]非关系型数据库：非关系型数据库通常采用键
‑
值、列族、文档等不同的数据模型来存储数据。非关系型数据库在横向扩展和分布式架构方面具有很强的优势，因此在大数据处理、互联网应用、实时数据处理等领域得到广泛应用。
[0004]基于索引的存储：基于索引的存储可以通过对文本数据建立倒排索引等方式提高查询效率。在基于索引的存储中，数据被分为一个个文档，每个文档都有自己的词汇表和倒排索引。用户可以通过查询词汇表和倒排索引来快速地查找文档。这种技术通常用于全文搜索、数据挖掘等场景。
[0005]虽然存在许多针对网络资产的查询和存储的数据库方案，但是现有的处理方式都存在一定的缺陷。针对于关系型数据库，关系型数据库在数据结构和查询方式上具有一定的局限性，无法直接表达和查询复杂的关系网络，也无法高效地处理大量的网络资产图数据。同时，在大规模分布式环境下，关系型数据库的性能和可扩展性也存在瓶颈；而对于一般的非关系型数据库，虽然非关系型数据库在分布式存储和横向扩展方面具有很强的优势，但是对于复杂的关系网络的存储和查询能力较弱，也不太适合网络资产图数据处理；而基于索引的存储可以通过建立倒排索引等方式提高查询效率，但是对于大规模的图数据处理还是存在一定的局限性。在复杂的网络资产存储和查询场景下，基于索引的存储的查询速度和效率都比较低。

技术实现思路

[0006]本申请提供了一种网络资产数据存储和查询方法、装置及存储介质，能够满足大量复杂的网络资产数据的存储和快捷的查询。
[0007]第一方面，本申请提供一种网络资产数据存储方法，采用如下的技术方案：一种网络资产数据存储方法，包括以下步骤：将包括若干个第二文档的第一文档存储至非关系型数据库中；所述第二文档包括时间数据及与所述时间数据对应的网络资产数据，所述时间数据为所述网络资产数据生成和/或修改的时间。
[0008]进一步地，上述非关系型数据库为图数据库。
[0009]进一步地，上述网络资产数据包括组织数据、域名数据、子域名数据、IP数据、端口数据和组件数据以及不同数据之间的关系；所述组织数据、域名数据、子域名数据、IP数据、端口数据和组件数据在所述图数据库中存储为节点，不同数据之间的关系在所述图数据库中存储为边向量，所述节点之间通过所述边向量连接。
[0010]进一步地，上述节点和所述边向量还包括属性数据，所述属性数据为所述网络资产数据的属性。
[0011]进一步地，上述方法还包括计算所述网络资产数据的热度值，将所述网络资产数据中热度值大于预设的热度阈值的资产热数据，对所述资产热数据优先进行预处理并缓存。
[0012]进一步地，上述方法还包括将所述时间数据及与所述时间数据对应的网络资产数据划分为若干个数据组，并将若干个所述数据组分别存储于不同的节点内。
[0013]第二方面，本申请还提供了一种网络资产数据查询方法，应用上述的网络资产数据存储方法，包括以下步骤：根据属性数据建立查询索引；根据所述查询索引建立倒排索引表，以使搜索引擎并行查询存储于若干个节点内的若干个数据组。
[0014]第三方面，本申请还提供了一种网络资产数据存储和查询装置，包括：存储模块，用于将包括若干个第二文档的第一文档存储至非关系型数据库中；查询模块，用于通过搜索引擎并行查询存储于若干个节点内的若干个数据组。
[0015]第四方面，本申请提供一种计算机设备，采用如下的技术方案：一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的方法。
[0016]第五方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储介质，存储有能够被处理器加载并执行如第一方面中任一种方法的计算机程序。
[0017]综上所述，本申请包括以下至少一种有益技术效果：本申请提供的一种网络资产数据存储和查询方法、装置及存储介质，实现了自动化的网络资产管理和监控，提高管理效率和精度，具有良好的横向扩展性和分布式处理能力，可以满足大规模数据的存储和处理需求，提高数据存储和查询的速度和可扩展性。
附图说明
[0018]图1是本专利技术实施方式中网络资产数据库结构示意图。
[0019]图2是本专利技术实施方式中网络资产数据结构示意图。
[0020]图3是本专利技术实施方式中网络资产数据库数据同步方法流程示意图。
具体实施方式
[0021]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0022]本申请实施方式为了满足大量的复杂的网络资产图数据的存储和快捷的查询，基于图数据库，提供了一种网络资产数据存储和查询方法、装置及存储介质，可以直接建模和查询复杂的关系网络，提高数据处理的效率和精度。图数据库是以点、边为基础存储单元，以高效存储、查询图数据为设计原理的数据管理系统，“点”表示实体，“边”表示实体间的关系。在图数据库中，数据间的关系和数据本身同样重要，它们被作为数据的一部分存储起来。这样的架构使图数据库能够快速响应复杂关联查询，因为实体间的关系已经提前存储到了数据库中。图数据库可以直观地可视化关系，是存储、查询、分析高度互联数据的最优办法，常见的图数据库包括如Neo4j、Galaxybase、GraphDB等。
[0023]关系型数据库是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。主流的关系型数据库包括Oracle、DB2、MySQL、Microsoft SQL Server、Microsoft Access等。
[0024]如图2所示，网络资产数据整体上来说是具有层次关系和连接关系的图数据，例如:”域名
‑
>子域名
‑
>IP
‑
>组件”这样的一个数据，每个域名拥有多个子域名，每个子域名拥有对应的IP而每个IP代表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络资产数据存储方法，其特征在于，包括以下步骤：将包括若干个第二文档的第一文档存储至非关系型数据库中；所述第二文档包括时间数据及与所述时间数据对应的网络资产数据，所述时间数据为所述网络资产数据生成和/或修改的时间。2.根据权利要求1所述的网络资产数据存储方法，其特征在于：所述非关系型数据库为图数据库。3.根据权利要求2所述的网络资产数据存储方法，其特征在于：所述网络资产数据包括组织数据、域名数据、子域名数据、IP数据、端口数据和组件数据以及不同数据之间的关系；所述组织数据、域名数据、子域名数据、IP数据、端口数据和组件数据在所述图数据库中存储为节点，不同数据之间的关系在所述图数据库中存储为边向量，所述节点之间通过所述边向量连接。4.根据权利要求3所述的网络资产数据存储方法，其特征在于：所述节点和所述边向量还包括属性数据，所述属性数据为所述网络资产数据的属性。5.根据权利要求1或3所述的网络资产数据存储方法，其特征在于：还包括计算所述网络资产数据的热度值，将所述网络资产数据中热度值大于预设的热度阈值的资产热数据，对所述资产...

【专利技术属性】
技术研发人员：王昊天，
申请(专利权)人：上海螣龙科技有限公司，
类型：发明
国别省市：