一种基于分布式高并发条件下审核短信文本的方法及装置制造方法及图纸

本发明专利技术涉及短信文本审核技术领域,尤其是一种基于分布式高并发条件下审核短信文本的方法及装置，采用本发明专利技术进行人工审核时异步更新数据库短信记录，页面直接返回审核下一条短信，不用等待；任务分级处理，一个大任务分成多个子任务，子任务分批定量更新数据库信息，不会造成数据库阻塞；可自定义分解规则及消息队列级别，不同类型的短信进入不同级别的消息队列，不会出现短信阻塞在消息队列里；接收审核短信及审核处理，遇到性能瓶颈时可通过加服务器的方式横向扩容，提高处理能力。

【技术实现步骤摘要】
一种基于分布式高并发条件下审核短信文本的方法及装置
本专利技术涉及短信文本审核
,尤其是一种基于分布式高并发条件下审核短信文本的方法及装置。
技术介绍
目前短信运营商在短信发送前需要对短信的内容进行审核，只有合法合规的短信才能够被发送。通常在短时间内会有大量的短信请求提交到系统，在系统预审核的基础上，还会有大量的短信进入人工审核阶段。这些大量短信需要入库，然后展现在页面上进行审核，审核时同时读取和更新大量数据，因此系统可能会发生堵塞现象，使短信发送拥堵在审核阶段。因此本专利技术提出了一种基于分布式高并发条件下审核短信文本的方法及装置可以解决上述缺陷。现有技术相关知识点介绍：分布式：是为了解决单个物理服务器容量和性能瓶颈问题而采用的优化手段。该领域需要解决的问题极多，在不同的技术层面上，又包括：分布式文件系统、分布式缓存、分布式数据库、分布式计算等，一些名词如Hadoop、zookeeper、MQ等都跟分布式有关。从理念上讲，分布式的实现有两种形式：水平扩展：当一台机器扛不住流量时，就通过添加机器的方式，将流量平分到所有服务器上，所有机器都可以提供相当的服务；垂直拆分：前端有多种查询需求时，一台机器扛不住，可以将不同的需求分发到不同的机器上，比如A机器处理余票查询的请求，B机器处理支付的请求。高并发：相对于分布式来讲，高并发在解决的问题上会集中一些，其反应的是同时有多少量：比如在线直播服务，同时有上万人观看。高并发可以通过分布式技术去解决，将并发流量分不到不同的物理服务器上。但除此之外，还可以有很多其他优化手段：比如使用缓存系统，将所有的，静态内容放到CDN等；还可以使用多线程技术将一台服务器的服务能力最大化。短信发送经常会在短时间内接收到大量客户提交的短信，比如商家进行促销时短时间内发送大量促销短信，就会造成大量的审核短信入库。本专利技术采用分布式消息系统接收并审核提交来的短信，数据库分库分表来保存短信，分布式缓存保存已经审核过的短信内容。MD5值：即Message-DigestAlgorithm5(信息-摘要算法5)，用于确保信息传输完整一致。是计算机广泛使用的杂凑算法之一(又译摘要算法、哈希算法)，主流编程语言普遍已有MD5实现。将数据(如汉字)运算为另一固定长度值，是杂凑算法的基础原理，MD5的前身有MD2、MD3和MD4。MD5算法具有以下特点:1、压缩性:任意长度的数据，算出的MD5值长度都是固定的。2、容易计算:从原数据计算出MD5值很容易。3、抗修改性:对原数据进行任何改动，哪怕只修改1个字节，所得到的MD5值都有很大区别。4、强抗碰撞:已知原数据和其MD5值，想找到一个具有相同MD5值的数据(即伪造数据)是非常困难的。hashcode：是一种编码方式，在Java中，每个对象都会有一个hashcode，Java可以通过这个hashcode来识别一个对象。键：数据库中的键(key)又称为关键字，是关系模型中的一个重要概念，它是逻辑结构，不是数据库的物理部分。
技术实现思路
针对上述现有技术中存在的不足，本专利技术的目的在于提供了一种基于分布式高并发条件下审核短信文本的方法及装置，解决现有技术效率低的问题。为解决上述问题，本专利技术公开了一种基于分布式高并发条件下审核短信文本的方法，包括短信接收、人工审核和系统审核三大步骤，S1短信接收：采用分布式系统接收用户发出的短信请求，根据短信文本和账号计算出短信摘要，根据待发送手机号计算出数据存储的分片信息；对于短信摘要相同的短信用分布式缓存进行计数，数据采用多线程异步和定时批量的形式入库；S2人工审核：人工页面审核后不直接更新数据库，将审核结果及短信摘要生成审核任务信息发送至消息队列；S3系统审核：根据待审核任务下短信待发送条数匹配不同优先级的待处理队列，再根据配置将审核任务分解成多个子任务发送至相应队列，并将审核结果保存至分布式缓存中，最后循环消费子任务更新数据库信息发送短信至短信网关。作为优先，S1计算短信摘要方法如下：首先根据账号及短信文本拼接为短信摘要，短信摘要再取MD5值。作为优先，S1计算出短信摘要后，将短信摘要作为缓存的键，与系统本地缓存的审核结果进行比较，缓存中若存在审核结果，则发送短信至短信网关；若不存在审核结果，则将短信摘要作为键在分布式缓存中计数，遇到相同摘要的短信，计数器加1。作为优先，S1根据手机号计算分片信息方法如下：手机号的hashcode的绝对值除以分片数量取余数。为解决上述问题，本专利技术公开了一种基于分布式高并发条件下审核短信文本的装置，包括短信接收、人工审核和系统审核三大模块，短信接收模块：适用于分布式系统接收用户发出的短信请求，根据短信文本和账号计算出短信摘要，根据待发送手机号计算出数据存储的分片信息；对于短信摘要相同的短信用分布式缓存进行计数，数据采用多线程异步和定时批量的形式入库；人工审核模块：适用于人工审核且将人工页面审核结果及短信摘要生成审核任务信息发送至消息队列；系统审核模块：适用于根据待审核任务下短信待发送条数匹配不同优先级的待处理队列，再根据配置将审核任务分解成多个子任务发送至相应队列，最后循环消费子任务更新数据库信息发送短信至短信网关。为解决上述问题，本专利技术还公开了一种计算设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据所述的方法中的任一方法的指令。为解决上述问题，本专利技术还公开了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据所述的方法中的任一方法。由于采用上述技术方案，本专利技术有着如下有益效果：采用本专利技术进行人工审核时异步更新数据库短信记录，页面直接返回审核下一条短信，不用等待；任务分级处理，一个大任务分成多个子任务，子任务分批定量更新数据库信息，不会造成数据库阻塞；可自定义分解规则及消息队列级别，不同类型的短信进入不同级别的消息队列，不会出现短信阻塞在消息队列里；接收审核短信及审核处理，遇到性能瓶颈时可通过加服务器的方式横向扩容，提高处理能力。附图说明图1是本专利技术的流程示意图；图2是本专利技术实施例的网页截图。具体实施方式以下结合附图对本专利技术的实施例进行详细说明，但是本专利技术可以由权利要求限定和覆盖的多种不同方式实施。本专利技术公开了一种基于分布式高并发条件下审核短信文本的方法，包括短信接收、人工审核和系统审核三大步骤，S1短信接收：采用分布式系统接收用户发出的短信请求，根据短信文本和客户账号计算出短信的摘要即MD5值，根据待发送手机号计算出数据存储的分片信息。对于短信摘要相同的短信用分布式缓存进行计数，数据采用多线程异步和定时批量的形式入库；S2人工审核：人工页面审核后不直接本文档来自技高网...

【技术保护点】
1.一种基于分布式高并发条件下审核短信文本的方法，其特征在于，包括短信接收、人工审核和系统审核三大步骤，/nS1短信接收：采用分布式系统接收用户发出的短信请求，根据短信文本和账号计算出短信摘要，根据待发送手机号计算出数据存储的分片信息；对于短信摘要相同的短信用分布式缓存进行计数，数据采用多线程异步和定时批量的形式入库；/nS2人工审核：人工页面审核后不直接更新数据库，将审核结果及短信摘要生成审核任务信息发送至消息队列；/nS3系统审核：根据待审核任务下短信待发送条数匹配不同优先级的待处理队列，再根据配置将审核任务分解成多个子任务发送至相应队列，并将审核结果保存至分布式缓存中，最后循环消费子任务更新数据库信息发送短信至短信网关。/n

【技术特征摘要】
1.一种基于分布式高并发条件下审核短信文本的方法，其特征在于，包括短信接收、人工审核和系统审核三大步骤，
S1短信接收：采用分布式系统接收用户发出的短信请求，根据短信文本和账号计算出短信摘要，根据待发送手机号计算出数据存储的分片信息；对于短信摘要相同的短信用分布式缓存进行计数，数据采用多线程异步和定时批量的形式入库；
S2人工审核：人工页面审核后不直接更新数据库，将审核结果及短信摘要生成审核任务信息发送至消息队列；
S3系统审核：根据待审核任务下短信待发送条数匹配不同优先级的待处理队列，再根据配置将审核任务分解成多个子任务发送至相应队列，并将审核结果保存至分布式缓存中，最后循环消费子任务更新数据库信息发送短信至短信网关。


2.根据权利要求1所述的一种基于分布式高并发条件下审核短信文本的方法，其特征在于，S1计算短信摘要方法如下：首先根据账号及短信文本拼接为短信摘要，短信摘要再取MD5值。


3.根据权利要求2所述的一种基于分布式高并发条件下审核短信文本的方法，其特征在于，S1计算出短信摘要后，将短信摘要作为缓存的键，与系统本地缓存的审核结果进行比较，缓存中若存在审核结果，则发送短信至短信网关；若不存在审核结果，则将短信摘要作为键在分布式缓存中计数，遇到相同摘要的短信，计数器加1。


4.根据权利要求3所述的一种基于分布式高并...

【专利技术属性】
技术研发人员：张磊，唐小波，余彬晶，杭达宏，代素侠，
申请(专利权)人：上海创蓝文化传播有限公司，
类型：发明
国别省市：上海;31