结构化与非结构化数据查询方法、设备、存储介质及装置制造方法及图纸

本申请涉及数据查询技术领域，可应用智慧政务场景中。公开了一种结构化与非结构化数据查询方法、设备、存储介质及装置，该方法通过接收查询终端发送的携带有业务类型标识的数据查询请求，基于数据查询请求，从目标数据库中获取与业务类型标识对应的目标表单，目标表单中包括结构化字段和非结构化字段，基于业务类型进行分类查询，以提高数据查询效率；根据结构化字段和非结构化字段，分别从第一预设数据库和第二预设数据库中查询结构化数据和非结构化数据，将结构化数据和非结构化数据发送至查询终端，基于结构化数据和非结构化数据，在兼顾数据安全性的同时提高数据查询效率。

【技术实现步骤摘要】
结构化与非结构化数据查询方法、设备、存储介质及装置
本申请涉及数据查询的
，尤其涉及一种结构化与非结构化数据查询方法、设备、存储介质及装置。
技术介绍
传统的系统，主要业务数据存储可采用存储在结构化表字段中，在进行数据查询时，由于数据存储结构固定，改动不方便，数据灵活性较差，无法满足多样化的业务需求，导致数据查询效率低。还可通过动态建立表字段的方式动态生成表，并且动态建立表字段，以进行数据存储和查询，但动态拼装的动态表结构建立及使用，无法满足性能、稳定性及安全性等多方面的需求。因此，如何在兼顾安全性的同时提高数据查询的效率是亟待解决的技术问题。上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本申请的主要目的在于提供一种结构化与非结构化数据查询方法、设备、存储介质及装置，旨在解决现有技术中如何在兼顾安全性的同时提高数据查询的效率的技术问题。为实现上述目的，本申请提供一种结构化与非结构化数据查询方法，所述结构化与非结构化数据查询方法包括以下步骤：接收查询终端发送的携带有业务类型标识的数据查询请求；基于所述数据查询请求，从目标数据库中获取与所述业务类型标识对应的目标表单；其中，所述目标表单中包括结构化字段和非结构化字段；根据所述结构化字段和所述非结构化字段，分别从第一预设数据库和第二预设数据库中查询得到结构化数据和非结构化数据；其中，所述第一预设数据库中的内容用于描述所述结构化字段与所述结构化数据之间的对应关系，所述第二预设数据库中的内容用于描述所述非结构化字段与所述非结构化数据之间的对应关系；将所述结构化数据和所述非结构化数据发送至所述查询终端。优选地，所述接收查询终端发送的携带有业务类型标识的数据查询请求之前，所述结构化与非结构化数据查询方法还包括：获取样本表单数据，并将所述样本表单数据按照业务类型进行分类，获得各业务类型对应的表单数据；对各业务类型对应的表单数据进行数据抽取，获得各业务类型对应的公共字段数据；根据各业务类型对应的公共字段数据，建立各业务类型下结构化字段与结构化数据之间的对应关系，并将所述结构化字段与所述结构化数据之间的对应关系存储至第一预设数据库；将各业务类型对应的表单数据中除了所述公共字段数据之外的其他数据作为不确定字段数据；根据各业务类型对应的不确定字段数据，建立各业务类型下非结构化字段与非结构化数据之间的对应关系，并将所述非结构化字段与所述非结构化数据之间的对应关系存储至第二预设数据库。优选地，所述将所述非结构化字段与所述非结构化数据之间的对应关系存储至第二预设数据库，包括：获取所述非结构化数据的目标数据量；判断所述目标数据量是否大于预设数据量阈值；在所述目标数据量大于所述预设数据量阈值时，将所述非结构化字段与所述非结构化数据之间的对应关系通过文件系统进行存储，获得所述非结构化数据的存储访问路径，并将所述存储访问路径存储至第二预设数据库。优选地，所述第二预设数据库包括指定存储区域和自由存储区域；所述将所述结构化数据和所述非结构化数据发送至所述查询终端之后，所述结构化与非结构化数据查询方法还包括：获取所述第二预设数据库中各非结构化数据的调用频率；判断各非结构化数据的调用频率是否超过预设频率阈值；若所述调用频率超过所述预设频率阈值，则将对应的非结构化数据存储至所述指定存储区域；若所述调用频率未超过所述预设频率阈值，则将对应的非结构化数据存储至所述自由存储区域。优选地，所述若所述调用频率未超过所述预设频率阈值，则将对应的非结构化数据存储至所述自由存储区域之后，所述结构化与非结构化数据查询方法还包括：获取所述结构化数据和所述非结构化数据的存储时长；判断所述存储时长是否超过预设时长；在所述存储时长超过所述预设时长时，对所述结构化数据和所述非结构化数据进行清空或更新处理。优选地，所述预设时长包括：第一时长阈值和第二时长阈值，所述第一时长阈值小于所述第二时长阈值；所述在所述存储时长超过所述预设时长时，对所述结构化数据和所述非结构化数据进行清空或更新处理，包括：在所述存储时长超过所述第一时长阈值时，对所述自由存储区域中的非结构化数据进行清空或更新处理；在所述存储时长超过所述第二时长阈值时，对所述第一预设数据库中的所述结构化数据和所述指定存储区域中的非结构化数据进行清空或更新处理。优选地，所述将所述结构化数据和所述非结构化数据发送至所述查询终端，包括：获取当前时间，根据所述当前时间和所述业务类型标识生成加密密钥；根据所述加密密钥对所述结构化数据和所述非结构化数据进行加密，获得加密结构化数据和加密非结构化数据；将所述加密结构化数据和所述加密非结构化数据上传至区块链中；当接收数据查询需求时，将所述加密结构化数据和所述加密非结构化数据发送至所述查询终端；此外，为实现上述目的，本申请还提出一种结构化与非结构化数据查询设备，所述结构化与非结构化数据查询设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的结构化与非结构化数据查询程序，所述结构化与非结构化数据查询程序配置为实现如上文所述的结构化与非结构化数据查询方法的步骤。此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质上存储有结构化与非结构化数据查询程序，所述结构化与非结构化数据查询程序被处理器执行时实现如上文所述的结构化与非结构化数据查询方法的步骤。此外，为实现上述目的，本申请还提出一种结构化与非结构化数据查询装置，所述结构化与非结构化数据查询装置包括：接收模块，用于接收查询终端发送的携带有业务类型标识的数据查询请求；获取模块，用于基于所述数据查询请求，从目标数据库中获取与所述业务类型标识对应的目标表单；其中，所述目标表单中包括结构化字段和非结构化字段；查询模块，用于根据所述结构化字段和所述非结构化字段，分别从第一预设数据库和第二预设数据库中查询得到结构化数据和非结构化数据；其中，所述第一预设数据库中的内容用于描述所述结构化字段与所述结构化数据之间的对应关系，所述第二预设数据库中的内容用于描述所述非结构化字段与所述非结构化数据之间的对应关系；发送模块，用于将所述结构化数据和所述非结构化数据发送至所述查询终端。本申请中，通过接收查询终端发送的携带有业务类型标识的数据查询请求，基于所述数据查询请求，从目标数据库中获取与所述业务类型标识对应的目标表单，其中，所述目标表单中包括结构化字段和非结构化字段，根据所述结构化字段和所述非结构化字段，分别从第一预设数据库和第二预设数据库中查询得到结构化数据和非结构化数据，基于业务类型进行分类查询，以提高数据查询效率；其中，所述第一预设数据库中的内容用于描述所述结构化字段与所述结构化数据之间的对应关系，所述第二预设数据库中的内容用于描述所述非结构本文档来自技高网...

【技术保护点】
1.一种结构化与非结构化数据查询方法，其特征在于，所述结构化与非结构化数据查询方法包括以下步骤：/n接收查询终端发送的携带有业务类型标识的数据查询请求；/n基于所述数据查询请求，从目标数据库中获取与所述业务类型标识对应的目标表单；其中，所述目标表单中包括结构化字段和非结构化字段；/n根据所述结构化字段和所述非结构化字段，分别从第一预设数据库和第二预设数据库中查询得到结构化数据和非结构化数据；其中，所述第一预设数据库中的内容用于描述所述结构化字段与所述结构化数据之间的对应关系，所述第二预设数据库中的内容用于描述所述非结构化字段与所述非结构化数据之间的对应关系；/n将所述结构化数据和所述非结构化数据发送至所述查询终端。/n

【技术特征摘要】
1.一种结构化与非结构化数据查询方法，其特征在于，所述结构化与非结构化数据查询方法包括以下步骤：
接收查询终端发送的携带有业务类型标识的数据查询请求；
基于所述数据查询请求，从目标数据库中获取与所述业务类型标识对应的目标表单；其中，所述目标表单中包括结构化字段和非结构化字段；
根据所述结构化字段和所述非结构化字段，分别从第一预设数据库和第二预设数据库中查询得到结构化数据和非结构化数据；其中，所述第一预设数据库中的内容用于描述所述结构化字段与所述结构化数据之间的对应关系，所述第二预设数据库中的内容用于描述所述非结构化字段与所述非结构化数据之间的对应关系；
将所述结构化数据和所述非结构化数据发送至所述查询终端。


2.如权利要求1所述的结构化与非结构化数据查询方法，其特征在于，所述接收查询终端发送的携带有业务类型标识的数据查询请求之前，所述结构化与非结构化数据查询方法还包括：
获取样本表单数据，并将所述样本表单数据按照业务类型进行分类，获得各业务类型对应的表单数据；
对各业务类型对应的表单数据进行数据抽取，获得各业务类型对应的公共字段数据；
根据各业务类型对应的公共字段数据，建立各业务类型下结构化字段与结构化数据之间的对应关系，并将所述结构化字段与所述结构化数据之间的对应关系存储至第一预设数据库；
将各业务类型对应的表单数据中除了所述公共字段数据之外的其他数据作为不确定字段数据；
根据各业务类型对应的不确定字段数据，建立各业务类型下非结构化字段与非结构化数据之间的对应关系，并将所述非结构化字段与所述非结构化数据之间的对应关系存储至第二预设数据库。


3.如权利要求2所述的结构化与非结构化数据查询方法，其特征在于，所述将所述非结构化字段与所述非结构化数据之间的对应关系存储至第二预设数据库，包括：
获取所述非结构化数据的目标数据量；
判断所述目标数据量是否大于预设数据量阈值；
在所述目标数据量大于所述预设数据量阈值时，将所述非结构化字段与所述非结构化数据之间的对应关系通过文件系统进行存储，获得所述非结构化数据的存储访问路径，并将所述存储访问路径存储至第二预设数据库。


4.如权利要求1～3中任一项所述的结构化与非结构化数据查询方法，其特征在于，所述第二预设数据库包括指定存储区域和自由存储区域；
所述将所述结构化数据和所述非结构化数据发送至所述查询终端之后，所述结构化与非结构化数据查询方法还包括：
获取所述第二预设数据库中各非结构化数据的调用频率；
判断各非结构化数据的调用频率是否超过预设频率阈值；
若所述调用频率超过所述预设频率阈值，则将对应的非结构化数据存储至所述指定存储区域；
若所述调用频率未超过所述预设频率阈值，则将对应的非结构化数据存储至所述自由存储区域。


5.如权利要求4所述的结构化与非结构化数据查询方法，其特征在于，所述若所述调用频率未超...

【专利技术属性】
技术研发人员：张山，王振华，余自雷，郭鹏程，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东;44