本发明专利技术提供了一种基于Elasticsearch的报文生成方法包括：接收报文任务，报文任务包括若干子任务；将子任务划分成若干个任务组；判断是否存在可用的Es服务器，Es服务器包括可用以及繁忙两种状态；当存在可用的Es服务器，将若干任务组分配给可用的Es服务器；当不存在可用的Es服务器，将若干个任务组放入待生成分区；当Es服务器的状态由繁忙转变至可用时，从待生成分区调取任务组分配到可用的Es服务器；控制可用的Es服务器执行任务组并生成子数据；以及将所有子数据合成报文数据。此外，本发明专利技术还提供了一种redis数据管理系统及主控设备。本发明专利技术技术方案有效解决了合理分配服务器资源报文生成问题。源报文生成问题。源报文生成问题。
【技术实现步骤摘要】
基于Elasticsearch的报文生成方法及redis数据管理系统、主控设备
[0001]本专利技术涉及数据存储
，尤其涉及一种基于Elasticsearch的报文生成方法及redis数据管理系统、主控设备。
技术介绍
[0002]EAST系统全称Examination and Analysis System Technology，是银监会在2008年开发的具有自主知识产权的检查分析系统，通过报文（txt）外发的方式，整合各家银行的数据，通过对应的算法规则，挖掘银行潜在风险。大部分国有及商业银行都会选择Oracle数据库装载east报文数据，使用Oracle卸数脚本，将银保监会需要的数据导数成txt报送，每年要支出数百万的DB的维护费用，虽然性能强势，但价格确实昂贵，在去O化的今天如何实现通过别的方法完成报文的生成成为一个十分有必要解决的问题。
技术实现思路
[0003]本专利技术提供了一种基于Elasticsearch的报文生成方法及redis数据管理系统、主控设备，可以有效地针对亿级数据进行整理并输出报文。
[0004]第一方面，本专利技术实施例提供一种基于Elasticsearch的报文生成方法，所述报文生成方法应用于redis数据管理系统，所述redis数据管理系统包括待生成分区和若干Elasticsearch服务器，所述报文生成方法包括：接收报文任务，其中，所述报文任务包括若干子任务；将所述子任务划分成若干个任务组；判断是否存在可用的Elasticsearch服务器，其中，所述Elasticsearch服务器包括可用以及繁忙两种状态；当存在可用的Elasticsearch服务器，将若干所述任务组分配给所述可用的Elasticsearch服务器；当不存在可用的Elasticsearch服务器，将若干个所述任务组放入待生成分区；当所述Elasticsearch服务器的状态由繁忙转变至可用时，从所述待生成分区调取所述任务组分配到所述可用的Elasticsearch服务器；控制所述可用的Elasticsearch服务器执行所述任务组并生成子数据；以及将所有所述子数据合成报文数据。
[0005]优选的，在判断是否存在可用的Elasticsearch服务器之前，所述基于Elasticsearch的报文生成方法还包括：接收预设值；根据redis的分布式锁技术将每台所述Elasticsearch服务器同时处理子任务的数量设置为所述预设值；计算所述Elasticsearch服务器正在处理的子任务的数量为任务值；
判断所述任务值是否小于所述预设值；当所述任务值小于所述预设值，将所述Elasticsearch服务器的状态标记为可用；以及当所述任务值大于或者等于所述预设值，将所述Elasticsearch服务器的状态标记为繁忙。
[0006]优选的，将若干所述任务组分配给所述可用的Elasticsearch服务器之后，所述基于Elasticsearch的报文生成方法还包括：计算分配给所述可用的Elasticsearch服务器的任务组中子任务的数量为第一值；计算所述第一值和所述任务值之和为第二值；判断所述第二值是否大于或等于所述预设值；以及当所述第二值大于或等于所述预设值，将所述Elasticsearch服务器的状态标记为繁忙。
[0007]优选的，将所述Elasticsearch服务器的状态标记为繁忙之后，所述基于Elasticsearch的报文生成方法还包括：计算所述Elasticsearch服务器正在处理的子任务的数量为第三值；判断所述第三值是否小于所述预设值；以及当所述第三值小于所述预设值，将所述Elasticsearch服务器的状态标记为可用。
[0008]优选的，所述Elasticsearch服务器包括若干分片，接收报文任务之前，所述基于Elasticsearch的报文生成方法还包括：接收阈值；根据所述Elasticsearch服务器的分片特性将所述分片的数量设置为所述阈值；以及根据Java的线程池技术将所述Elasticsearch服务器分为若干线程，其中，所述线程的数量等于所述阈值。
[0009]优选的，所述子任务包括报文索引，控制所述Elasticsearch服务器执行所述任务组生成子数据具体包括：控制所述若干分片将同一所述子任务中的报文索引拆分成若干SLICE，其中，所述SLICE的数量与所述阈值相同；以及控制每一所述线程运行一个所述SLICE。
[0010]优选的，控制每一所述线程运行一个所述SLICE之后，所述基于Elasticsearch的报文生成方法还包括：监测每个所述线程的运行情况；判断所述运行情况是否发生异常；监测数据侧接口的数据口径，其中，所述数据侧接口为所述Elasticsearch服务器的接口，所述数据侧接口用于接收所述任务组；判断所述数据口径是否发生异常；以及当所述运行情况发生异常或者所述数据口径发生异常时，终止执行所述报文任务。
[0011]优选的，所述Elasticsearch服务器包括热节点以及冷节点，所述将所有所述子数据合成报文数据之后，所述基于Elasticsearch的报文生成方法还包括：将所述报文数据存储至所述热节点；判断所述报文数据存储至所述热节点的时间是否超过预设时间；当所述报文数据存储至所述热节点的时间超过预设时间时，将所述报文数据从所述热节点转存至所述冷节点，以形成过往数据；判断是否接收到查询请求；以及当接收到所述查询请求时，从所述冷节点调取相应的过往数据并进行展示。
[0012]第二方面，本专利技术实施例提供一种主控设备，所述主控设备包括：存储器，用于存储程序指令；以及处理器，用于执行所述程序指令以实现如上述的中任一项所述的基于Elasticsearch的报文生成方法。
[0013]第三方面，本专利技术实施例提供一种redis数据管理系统，所述redis数据管理系统包括：待生成分区；若干Elasticsearch服务器；以及如上述的主控设备，其中，所述主控设备分别与所述待生成分区和所述Elasticsearch服务器通讯连接。
[0014]上述基于Elasticsearch的报文生成方法及redis数据管理系统、主控设备，通过将数据存储在redis数据管理系统，redis数据管理系统接收到报文任务时将任务细分之后合理分配给每台Elasticsearch服务器，不挤兑同一台Elasticsearch服务器，再根据Elasticsearch服务器的分片特性，对报文索引分片提高效率。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0016]图1为本专利技术实施例提供的Elasticsearch的报文生成方法的流程图。
[0017]图2为本发本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于Elasticsearch的报文生成方法，其特征在于，所述报文生成方法应用于redis数据管理系统，所述redis数据管理系统包括待生成分区和若干Elasticsearch服务器，所述报文生成方法包括：接收报文任务，其中，所述报文任务包括若干子任务；将所述子任务划分成若干个任务组；判断是否存在可用的Elasticsearch服务器，其中，所述Elasticsearch服务器包括可用以及繁忙两种状态；当存在可用的Elasticsearch服务器，将若干所述任务组分配给所述可用的Elasticsearch服务器；当不存在可用的Elasticsearch服务器，将若干个所述任务组放入待生成分区；当所述Elasticsearch服务器的状态由繁忙转变至可用时，从所述待生成分区调取所述任务组分配到所述可用的Elasticsearch服务器；控制所述可用的Elasticsearch服务器执行所述任务组并生成子数据；以及将所有所述子数据合成报文数据。2.如权利要求1所述的基于Elasticsearch的报文生成方法，其特征在于，在判断是否存在可用的Elasticsearch服务器之前，所述基于Elasticsearch的报文生成方法还包括：接收预设值；根据redis的分布式锁技术将每台所述Elasticsearch服务器同时处理子任务的数量设置为所述预设值；计算所述Elasticsearch服务器正在处理的子任务的数量为任务值；判断所述任务值是否小于所述预设值；当所述任务值小于所述预设值，将所述Elasticsearch服务器的状态标记为可用；以及当所述任务值大于或者等于所述预设值，将所述Elasticsearch服务器的状态标记为繁忙。3.如权利要求2所述的基于Elasticsearch的报文生成方法，其特征在于，将若干所述任务组分配给所述可用的Elasticsearch服务器之后，所述基于Elasticsearch的报文生成方法还包括：计算分配给所述可用的Elasticsearch服务器的任务组中子任务的数量为第一值；计算所述第一值和所述任务值之和为第二值；判断所述第二值是否大于或等于所述预设值；以及当所述第二值大于或等于所述预设值，将所述Elasticsearch服务器的状态标记为繁忙。4.如权利要求3所述的基于Elasticsearch的报文生成方法，其特征在于，将所述Elasticsearch服务器的状态标记为繁忙之后，所述基于Elasticsearch的报文生成方法还包括：计算所述Elasticsearch服务器正在处理的子任务的数量为第三值；判断所述第三值是否小于所述预设值；以及当所述第三值小于所述预设值...
【专利技术属性】
技术研发人员：任书贤，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。