一种数据查询及同步优化方法及装置制造方法及图纸

本申请实施例公开了一种数据查询及同步优化方法及装置。所述方法包括：获取用户输入的查询语句；对所述查询语句进行解析，得到所述查询语句对应的解析结果；根据所述解析结果，确定与所述查询语句匹配的图数据库集群中的目标图数据库；将所述查询语句路由至所述目标图数据库，并从所述目标图数据库中查询得到所述查询语句匹配的目标虚拟子图；根据所述目标虚拟子图，查询得到与所述目标虚拟子图对应的目标子图数据；在接收到针对待写入虚拟子图的写入操作之后，根据多写机制，将所述待写入虚拟子图写入所述图数据库集群中的每个图数据库中。本申请实施例通过建立虚拟子图存入图数据库，提高了数据查询速度，节省了人工，保证了数据的实时有效性。

【技术实现步骤摘要】
一种数据查询及同步优化方法及装置
本申请涉及数据处理
，特别是涉及一种数据查询及同步优化方法及装置。
技术介绍
伴随着公司反欺诈业务的发展，图谱在其中扮演着越来越重要的角色，不仅要支持实时变量的结果输出，现计划增加部分离线复杂关系的计算，为决策提供更多可参考的特征数值。由于图谱的计算速度受到数据量的限制，如果数据量过大可能导致图谱被查询崩溃导致无法访问的情况，就目前线上图谱服务器的配置，如果离线复杂关系的计算将图谱查询崩溃，线上的实时业务将受到影响，导致公司整条业务线瘫痪，造成的结果是十分严重的，因此，现有技术中考虑将生产的图谱服务器增加至两台，这样可以改善对目前仅有的一台图谱的强依赖性，并且横向扩展服务器的方案一旦确定，对以后建立图谱集群也有着无比重要的作用。目前线上的图谱数据体系较大，经过分析，在现有的大量业务的逻辑查询中：可以将基础数据在一定程度上缩小范围，这样可以减小每次查询时服务器的io，一定程度上在内存中缓存数据，减少io与内存间交互，加快查询速度。这些查询不依赖实时数据，可以接受数据前一天预处理之后的结果。如在查询客户级的通讯录的相似度时，可以将关系路径范围缩小至客户的2级关系，时间范围缩小至近30天，并且当天新加入的关系可以不在计算结果范围内。实时部分：将图谱数据应用于实时的计算关系并且为决策提供实时计算结果，业务系统通过将数据写入日志文件的方式，在业务系统端通过flume向kafka传递消息，kafka作为一个发布订阅消息系统，将消息传递至storm[一种流式计算框架]，storm程序将日志进行逻辑处理，而后写入图谱中。图谱作为数据存储，配置了两台服务器，组成了一个存储集群，数据写入通过storm双拓扑同时监听同一个发布者的消息，保证了图谱数据的同步。现有技术方案在数据处理时使用了neo4j加载csv文件的方式，这样在使用时其一不能保证数据的及时性，因为文件的整理和导入需要时间，在业务进行的过程中，实时数据量是很大的，可能秒级的耽搁都会影响业务的判断；其二导入数据使用的文件是需要空间存储的，而且导入操作较为复杂，可能需要人为的成本。
技术实现思路
本申请提供一种数据查询及同步优化方法及装置，以解决现有技术中不能保证数据及时性，且导入数据使用的文件是需要空间存储的，而且导入操作较为复杂，可能需要人为的成本的问题。为了解决上述问题，本申请实施例提供了一种数据查询及同步优化方法，包括：获取用户输入的查询语句；对所述查询语句进行解析，得到所述查询语句对应的解析结果；根据所述解析结果，确定与所述查询语句匹配的图数据库集群中的目标图数据库；将所述查询语句路由至所述目标图数据库，并从所述目标图数据库中查询得到所述查询语句匹配的目标虚拟子图；根据所述目标虚拟子图，查询得到与所述目标虚拟子图对应的目标子图数据；在接收到针对待写入虚拟子图的写入操作之后，根据多写机制，将所述待写入虚拟子图写入所述图数据库集群中的每个图数据库中。可选地，在所述获取用户输入的查询语句之前，还包括：创建多个图数据库；所述多个图数据库形成所述图数据库集群；配置所述图数据库集群对应的查询模式；根据系统中预先保存的子图数据，创建所述子图数据对应的虚拟子图；将所述虚拟子图保存至所述图数据库集群中的每个图数据库中；每个所述图数据库中保存的虚拟子图相同；建立子图节点与图数据库之间的关联关系。可选地，所述根据所述解析结果，确定与所述查询语句匹配的图数据库集群中的目标图数据库，包括：获取所述解析结果中包含的解析子图节点，根据子图节点与图数据库之间的关联关系，确定所述解析子图节点对应的目标图数据库。可选地，所述将所述查询语句路由至所述目标图数据库，并从所述目标图数据库中查询得到所述查询语句匹配的目标虚拟子图，包括：在所述目标图数据库的数量大于1个时，根据所述查询模式将所述查询语句路由至所述目标图数据库；根据所述查询语句，从所述目标图数据库中查询得到所述目标虚拟子图。可选地，在所述根据所述目标虚拟子图，查询得到与所述目标虚拟子图对应的目标子图数据之后，还包括：将所述目标子图数据缓存至内存；在接收到与所述查询语句相似的查询语句的情况下，从所述内存中获取并返回所述目标子图数据。为了解决上述技术问题，本申请实施例还提供了一种数据查询及同步优化装置，包括：查询语句获取模块，用于获取用户输入的查询语句；解析结果获取模块，用于对所述查询语句进行解析，得到所述查询语句对应的解析结果；目标图数据库确定模块，用于根据所述解析结果，确定与所述查询语句匹配的图数据库集群中的目标图数据库；目标虚拟子图查询模块，用于将所述查询语句路由至所述目标图数据库，并从所述目标图数据库中查询得到所述查询语句匹配的目标虚拟子图；目标子图数据查询模块，用于根据所述目标虚拟子图，查询得到与所述目标虚拟子图对应的目标子图数据；虚拟子图写入模块，用于在接收到针对待写入虚拟子图的写入操作之后，根据多写机制，将所述待写入虚拟子图写入所述图数据库集群中的每个图数据库中。可选地，还包括：图数据库创建模块，用于创建多个图数据库；所述多个图数据库形成所述图数据库集群；查询模式配置单元，用于配置所述图数据库集群对应的查询模式；虚拟子图创建模块，用于根据系统中预先保存的子图数据，创建所述子图数据对应的虚拟子图；虚拟子图保存模块，用于将所述虚拟子图保存至所述图数据库集群中的每个图数据库中；每个所述图数据库中保存的虚拟子图相同；关联关系建立模块，用于建立子图节点与图数据库之间的关联关系。可选地，所述目标图数据库确定模块包括：解析子图节点获取单元，用于获取所述解析结果中包含的解析子图节点，目标图数据库确定单元，用于根据子图节点与图数据库之间的关联关系，确定所述解析子图节点对应的目标图数据库。可选地，所述目标虚拟子图查询模块包括：查询语句路由单元，用于在所述目标图数据库的数量大于1个时，根据所述查询模式将所述查询语句路由至所述目标图数据库；目标虚拟子图查询单元，用于根据所述查询语句，从所述目标图数据库中查询得到所述目标虚拟子图。可选地，所述装置还包括：目标子图数据缓存模块，用于将所述目标子图数据缓存至内存；目标子图数据获取模块，用于在接收到与所述查询语句相似的查询语句的情况下，从所述内存中获取并返回所述目标子图数据。与现有技术相比，本申请包括以下优点：本申请实施例提供了一种数据查询及同步优化方法及装置，通过获取用户输入的查询语句，对查询语句进行解析，得到查询语句对应的解析结果，根据解析结果，确定与查询语句匹配的图数据库集群中的目标图数据库，将查询语句路由至目标图数据库，并从目标图数据库中查询得到查询语句匹配的目标虚拟子图，根据目标虚拟子图本文档来自技高网...

【技术保护点】
1.一种数据查询及同步优化方法，其特征在于，包括：/n获取用户输入的查询语句；/n对所述查询语句进行解析，得到所述查询语句对应的解析结果；/n根据所述解析结果，确定与所述查询语句匹配的图数据库集群中的目标图数据库；/n将所述查询语句路由至所述目标图数据库，并从所述目标图数据库中查询得到所述查询语句匹配的目标虚拟子图；/n根据所述目标虚拟子图，查询得到与所述目标虚拟子图对应的目标子图数据；/n在接收到针对待写入虚拟子图的写入操作之后，根据多写机制，将所述待写入虚拟子图写入所述图数据库集群中的每个图数据库中。/n

【技术特征摘要】
1.一种数据查询及同步优化方法，其特征在于，包括：
获取用户输入的查询语句；
对所述查询语句进行解析，得到所述查询语句对应的解析结果；
根据所述解析结果，确定与所述查询语句匹配的图数据库集群中的目标图数据库；
将所述查询语句路由至所述目标图数据库，并从所述目标图数据库中查询得到所述查询语句匹配的目标虚拟子图；
根据所述目标虚拟子图，查询得到与所述目标虚拟子图对应的目标子图数据；
在接收到针对待写入虚拟子图的写入操作之后，根据多写机制，将所述待写入虚拟子图写入所述图数据库集群中的每个图数据库中。


2.根据权利要求1所述的方法，其特征在于，在所述获取用户输入的查询语句之前，还包括：
创建多个图数据库；所述多个图数据库形成所述图数据库集群；
配置所述图数据库集群对应的查询模式；
根据系统中预先保存的子图数据，创建所述子图数据对应的虚拟子图；
将所述虚拟子图保存至所述图数据库集群中的每个图数据库中；每个所述图数据库中保存的虚拟子图相同；
建立子图节点与图数据库之间的关联关系。


3.根据权利要求2所述的方法，其特征在于，所述根据所述解析结果，确定与所述查询语句匹配的图数据库集群中的目标图数据库，包括：
获取所述解析结果中包含的解析子图节点，
根据子图节点与图数据库之间的关联关系，确定所述解析子图节点对应的目标图数据库。


4.根据权利要求2所述的方法，其特征在于，所述将所述查询语句路由至所述目标图数据库，并从所述目标图数据库中查询得到所述查询语句匹配的目标虚拟子图，包括：
在所述目标图数据库的数量大于1个时，根据所述查询模式将所述查询语句路由至所述目标图数据库；
根据所述查询语句，从所述目标图数据库中查询得到所述目标虚拟子图。


5.根据权利要求1所述的方法，其特征在于，在所述根据所述目标虚拟子图，查询得到与所述目标虚拟子图对应的目标子图数据之后，还包括：
将所述目标子图数据缓存至内存；
在接收到与所述查询语句相似的查询语句的情况下，从所述内存中获取并返回所述目标子图数据。


6.一种数据查询及同步优化装置，其特征在于，包括：
查询语句获取模块...

【专利技术属性】
技术研发人员：张莎，何建芳，王聪，
申请(专利权)人：内蒙古蒙商消费金融股份有限公司，
类型：发明
国别省市：内蒙古;15