一种基于canal、mq和es组合的政务数据监察方法技术

本发明专利技术涉及政务数据监察技术领域，具体为一种基于canal、mq和es组合的政务数据监察方法，包括以下步骤：结合国家标准规范和实际业务需求，分析政务服务数据特点，确定es中政务服务数据的索引结构；基于确定的存储索引，设计数据由政务服务系统到模型同步的方案；基于已经同步到模型中的数据，根据不同的监察点，设置监察规则进行数据监察和监察结果存储，方便模型结合各个对监察数据进行查询和统计操作；有益效果为：本发明专利技术提出的基于canal、mq和es组合的政务数据监察方法，对政务服务数据的实时同步和监察，采用canal、mq和es实现了对政务服务数据的实时同步和监察计算。务服务数据的实时同步和监察计算。务服务数据的实时同步和监察计算。

【技术实现步骤摘要】
一种基于canal、mq和es组合的政务数据监察方法


[0001]本专利技术涉及政务数据监察
，具体为一种基于canal、mq和es组合的政务数据监察方法。

技术介绍

[0002]《C0126国家政务服务平台数据交换与共享接口规范》中规范了政务服务事项办件的办件受理信息、办件过程信息、办件结果信息、特别程序信息和材料目录信息，为政务数据监察模型的建设提供了指导与参考。
[0003]此外，《国务院办公厅关于印发“互联网+政务服务”技术体系建设指南的通知(国办函〔2016〕108号)》中提出了相关网上政务服务的监督考核相关指南提出，监督考核是推进“互联网+政务服务”工作的重要抓手，需要遵循客观公正、用户向导、分类考核、内外结合四个原则，为政务数据监察模型提供了建设性意见。
[0004]基于以上的要求，需要建设一个能够实时同步政务服务数据，并对数据进行相关监察，然后反馈检查结果，促进各级政府部门不断提升政务服务提供质量的系统。

技术实现思路

[0005]本专利技术的目的在于提供一种基于canal、mq和es组合的政务数据监察方法，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于canal、mq和es组合的政务数据监察方法，所述政务数据监察方法包括以下步骤：
[0007]结合国家标准规范和实际业务需求，分析政务服务数据特点，确定es中政务服务数据的索引结构；
[0008]基于确定的存储索引，设计数据由政务服务系统到模型同步的方案；
[0009]基于已经同步到模型中的数据，根据不同的监察点，设置监察规则进行数据监察和监察结果存储，方便模型结合各个对监察数据进行查询和统计操作。
[0010]优选的，还包括es中的政务服务数据存储结构设计。
[0011]优选的，在办件信息的基础上，增加模型对于不同办件不同监察规则的监察结果信息，方便模型对要监察的办件信息进行不同规则的查询和统计分析。
[0012]优选的，对于不同规则的监察结果，在es索引中设置一个名为rulesFlag的object类型的结构存储监察结果信息，不同的监察规则在rulesFlag中以监察规则名为key的形式存在。
[0013]优选的，在办件需要设计一个监察时间的字段executeTime，每次进行监察计算用计算时间更新这个字段，用于模型中的定时任务执行，根据相距检查时间是否超过某个时限来判断在办件需不需要再进行一次监察以便更新其监察结果。
[0014]优选的，还包括政务服务数据到监察模型的同步，基于数据交换接口模型提供标准的HTTP接口，用于数据同步，接口入参分为同步类型syncType、操作类型operateType以
及同步数据data三部分。
[0015]优选的，还包括基于canal和mq的同步，模型利用canal中间件监听mysql的binlog变化，从而将数据变化以mq消息的方式发送到mq，模型订阅和canal同一主题的mq消息，实现数据的处理和同步，期间政务服务系统只需要同时维护前置库即可完成数据同步对接。
[0016]优选的，还包括基于同步的办件信息，根据不同的监察点，设置监察规则，当监察模型获取到同步数据时，就可以开始办件的监察。
[0017]与现有技术相比，本专利技术的有益效果是：
[0018]本专利技术提出的基于canal、mq和es组合的政务数据监察方法，对政务服务数据的实时同步和监察，采用canal、mq和es实现了对政务服务数据的实时同步和监察计算；对政务服务数据的快速查询和相关统计，将政务服务数据在es中结构化存储，利用不同的条件聚合查询，可快速得到全数据量下，各个维度的统计结果，相对于传统的数据库表，避免了极大数据量下的性能问题；相对于传统的政务服务系统，多出了各个监察规则维度的查询和统计；及时督办和反馈有问题的办件，提高政务服务能力，通过已经同步和监察的数据，可以快速向政务服务系统反馈有问题的办件，督促相关系统进行整改，提高政务服务能力。
附图说明
[0019]图1为本专利技术方法流程图。
具体实施方式
[0020]为了使本专利技术的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本专利技术实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本专利技术一部分实施例，而不是全部的实施例，仅仅用以解释本专利技术实施例，并不用于限定本专利技术实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]请参阅图1，本专利技术提供一种技术方案：一种基于canal、mq和es组合的政务数据监察方法，所述政务数据监察方法包括以下步骤：
[0022]一，结合国家标准规范和实际业务需求，分析政务服务数据特点，确定es中政务服务数据的索引结构；二，基于确定的存储索引，设计数据由政务服务系统到模型同步的方案；三，基于已经同步到模型中的数据，根据不同的监察点，设置监察规则进行数据监察和监察结果存储，方便模型结合各个对监察数据进行查询和统计操作。
[0023]1、es中的政务服务数据存储结构设计
[0024]1)公共基础信息
[0025]根据《C0126国家政务服务平台数据交换与共享接口规范》，政务服务事项办件信息可以分为办件受理信息(up_pro_accept)、办件过程信息(up_pro_process)、办件结果信息(up_pro_result)、特别程序信息(up_pro_specialprocedure)、材料目录信息(up_pro_materialcatalogue)这五个部分，每个部分都有其专门的表和字段对应。
[0026]a)办件受理信息、办件结果信息和办件信息是一对一的关系(每个办件只有一个受理信息和一个结果信息)，所以这两个部分的办件信息按照《C0126国家政务服务平台数据交换与共享接口规范》所规定的属性统一归集到一个es的索引结构中，作为办件的基本
信息索引。
[0027]b)办件过程信息、特别程序信息、料目录信息和办件信息是多对一的关系(每个办件有多个办件过程，多个特别程序，多个材料目录)，对于这种多对一的关系，es需要使用nested结构来支持，但是nested的查询和统计效率比较低，所以将这三个部分分为过程、特别程序、材料目录三个独立的es索引，以便查询和统计分析
[0028]2)监察结果信息
[0029]在办件信息的基础上，需要增加模型对于不同办件不同监察规则的监察结果信息，方便模型对要监察的办件信息进行不同规则的查询和统计分析。
[0030]a)对于不同规则的监察结果，在es索引中设置一个名为rulesFlag的object类型的结构存储监察结果信息，不同的监察规则在rulesFlag中以监察规则名为key的形式存在。如果出发了相应规则，那么其规则名key对应的值为1(如rulesFlag.时效规则＝＝1表示办本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于canal、mq和es组合的政务数据监察方法，其特征在于：所述政务数据监察方法包括以下步骤：结合国家标准规范和实际业务需求，分析政务服务数据特点，确定es中政务服务数据的索引结构；基于确定的存储索引，设计数据由政务服务系统到模型同步的方案；基于已经同步到模型中的数据，根据不同的监察点，设置监察规则进行数据监察和监察结果存储，方便模型结合各个对监察数据进行查询和统计操作。2.根据权利要求1所述的一种基于canal、mq和es组合的政务数据监察方法，其特征在于：还包括es中的政务服务数据存储结构设计。3.根据权利要求1所述的一种基于canal、mq和es组合的政务数据监察方法，其特征在于：在办件信息的基础上，增加模型对于不同办件不同监察规则的监察结果信息，方便模型对要监察的办件信息进行不同规则的查询和统计分析。4.根据权利要求3所述的一种基于canal、mq和es组合的政务数据监察方法，其特征在于：对于不同规则的监察结果，在es索引中设置一个名为rulesFlag的object类型的结构存储监察结果信息，不同的监察规则在rulesFlag中以监察规则名为key的形式存在。5.根据权利要求3所述的一种基于canal、mq和es组合的政务数据监...

【专利技术属性】
技术研发人员：王国栋，宁方刚，陈兆亮，迟钰沛，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：