一种数据验重的方法和装置制造方法及图纸

本发明专利技术提供一种数据验重的方法和装置，能够避免单独使用缓存服务器检验数据重复时不便查询和操作的问题，同时解决了海量数据的存储问题，提高了数据去重的准确性和高效性。本发明专利技术的方法包括接收待检验数据，并将数据发送给第一服务器；然后接收第一服务器返回的判断结果，当判断结果表明数据已存在于第一服务器时，输出用于表示数据为重复数据的提示信息；否则，将数据发送给第二服务器；然后接收第二服务器返回的判断结果，当判断结果表明数据已存在于第二服务器时，输出用于表示数据为重复数据的提示信息，并将数据保存在所述第一服务器中；否则，输出数据为非重复数据的提示信息，并将数据存储于第二服务器中，以及将数据保存在第一服务器中。

【技术实现步骤摘要】

本专利技术涉及计算机及其软件
，尤其涉及一种数据验重的方法和装置。
技术介绍
当前互联网的系统都会面对数据重复接收的情况，根据不同的业务情况，重复数据造成的影响或大或小。大部分的系统都会采用缓存机制来验证数据是否重复。现有的验证数据是否重复的方法，主要是通过redis服务器来实现的。每次需要验证数据时，调用redis服务器来判断待验证的数据是否已存在，如果已存在则返回该数据相关的信息，否则返回空，并存放此数据。具体的步骤如下：a)调用redis服务器的api方法，将需要验证的数据传递到redis服务器；b)如果该数据已存在于redis服务器上，则redis服务器返回该数据相关的信息；c)如果该数据未存在于redis服务器上，则redis服务器返回空；d)业务代码根据判断该数据不存在时，将调用redis的api方法,将该数据存放到redis服务器。现有技术主要存在以下缺点：1.内存的容量有限。内存的容量无法和硬盘的容量相比，现有redis的最大申请容量为32G，而申请的服务器的硬盘容量远远大于32G；2.缓存的数据不方便查询和操作。查询redis的数据，首先需要知道数据存放的结构，再编写对应的代码，才能进行查询或是遍例。3.内存在掉电时内容会丢失。最简单的例子就是，电脑正常关机后，内存中的数据全部丢失。
技术实现思路
有鉴于此，本专利技术提供一种数据验重的方法和装置，能够避免单独使用缓存服务器检验数据重复时不方便查询和操作的问题，同时由于本专利技术技术方案可以将缓存服务器中的数据存储于另一个增加的服务器中，因而解决海量数据的存储问题，也避免了由于关机或者断电而引起的数据丢失的问题，最终提高了数据去重的准确性和高效性。为实现上述目的，根据本专利技术的一个方面，提供了一种数据验重的方法。本专利技术的数据验重的方法，包括：接收待检验数据，并将待检验数据发送给第一服务器，以供第一服务器判断该待检验数据是否已经存在于第一服务器中；接收所述第一服务器所返回的判断结果，当该判断结果表明所述待检验数据已存在于第一服务器时，输出用于表示所述待检验数据为重复数据的提示信息；否则，将待检验数据发送给第二服务器，以供第二服务器判断该待检验数据是否已经存在于第二服务器中；接收所述第二服务器所返回的判断结果，当该判断结果表明所述待检验数据已存在于第二服务器时，输出用于表示所述待检验数据为重复数据的提示信息，并且将所述待检验数据保存在所述第一服务器中；否则，输出所述待检验数据为非重复数据的提示信息，并且将所述待检验数据存储于所述第二服务器中，以及将所述待检验数据保存在所述第一服务器中。可选地，输出用于表示所述待检验数据为重复数据的提示信息的步骤之后包括：在第二服务器中设定已存在于第二服务器中的所述待检验数据的失效时长；并且将所述待检验数据保存在所述第一服务器中的步骤包括：每隔设定的时间周期获取所述第二服务器中的待检验数据，并将获取到的数据提交给第一服务器；所述设定的时间周期小于所述待检验数据的失效时长。可选地，将所述待检验数据存储于所述第二服务器中的步骤之后包括：在第二服务器中设定所述待检验数据的失效时长；并且将所述待检验数据保存在所述第一服务器中的步骤包括：每隔设定的时间周期获取所述第二服务器中的待检验数据，并将获取到的数据提交给第一服务器；所述设定的时间周期小于所述待检验数据的失效时长。可选地，将获取到的数据提交给第一服务器的步骤之后包括：接收第一服务器所返回的数据提交的反馈信息，如果反馈信息表示数据被第一服务器成功接收，则缩短所述第二服务器中的数据的失效时长以使待检测数据在缩短后的失效时长内失效；否则，重置所述第二服务器中的数据的失效时长然后在下个时间周期获取所述待检验数据。可选地，所述第一服务器包括：elasticsearch服务器或solr服务器；所述第二服务器包括：redis服务器。根据本专利技术的另一方面，提供一种数据验重的装置。本专利技术的数据验重的装置，包括：接收模块，用于接收待检验数据，并将待检验数据发送给第一服务器，以供第一服务器判断该待检验数据是否已经存在于第一服务器中；第一输出模块，用于接收所述第一服务器所返回的判断结果，当该判断结果表明所述待检验数据已存在于第一服务器时，输出用于表示所述待检验数据为重复数据的提示信息；否则，将待检验数据发送给第二服务器，以供第二服务器判断该待检验数据是否已经存在于第二服务器中；第二输出模块，用于接收所述第二服务器所返回的判断结果，当该判断结果表明所述待检验数据已存在于第二服务器时，输出用于表示所述待检验数据为重复数据的提示信息，并且将所述待检验数据保存于所述第一服务器中；否则，输出所述待检验数据为非重复数据的提示信息，并且将所述待检验数据存储于所述第二服务器中，以及将所述待检验数据保存在所述第一服务器中。可选地，还包括第一设定模块，用于在第二服务器中设定已存在于第二服务器中的所述待检验数据的失效时长；并且所述第二输出模块还用于每隔设定的时间周期获取所述第二服务器中的待检验数据，并将获取到的数据提交给第一服务器；所述设定的时间周期小于所述待检验数据的失效时长。可选地，还包括第二设定模块，用于在第二服务器中设定所述待检验数据的失效时长；并且所述第二输出模块还用于每隔设定的时间周期获取所述第二服务器中的待检验数据，并将获取到的数据提交给第一服务器；所述设定的时间周期小于所述待检验数据的失效时长。可选地，还包括判断模块，用于接收第一服务器所返回的数据提交的反馈信息，如果反馈信息表示数据被第一服务器成功接收，则缩短所述第二服务器中的数据的失效时长以使待检测数据在缩短后的失效时长内失效；否则，重置所述第二服务器中的数据的失效时长然后在下个时间周期获取所述待检验数据。可选地，所述第一服务器包括：elasticsearch服务器或solr服务器；所述第二服务器包括：redis服务器。根据本专利技术的技术方案，主要通过新增服务器与缓存服务器同时对数据进行验证，因而能够避免单独使用缓存服务器检验数据重复时不方便查询和操作的问题；同时，由于可以将缓存服务器中的数据存储于所增加的服务器中，因而解决了缓存服务器因存储容量限制而导致的海量数据的存储问题，也避免了由于关机或者断电而引起的数据丢失的问题，最终提高了数据去重的准确性和本文档来自技高网...

【技术保护点】
一种数据验重的方法，其特征在于，包括：接收待检验数据，并将待检验数据发送给第一服务器，以供第一服务器判断该待检验数据是否已经存在于第一服务器中；接收所述第一服务器所返回的判断结果，当该判断结果表明所述待检验数据已存在于第一服务器时，输出用于表示所述待检验数据为重复数据的提示信息；否则，将待检验数据发送给第二服务器，以供第二服务器判断该待检验数据是否已经存在于第二服务器中；接收所述第二服务器所返回的判断结果，当该判断结果表明所述待检验数据已存在于第二服务器时，输出用于表示所述待检验数据为重复数据的提示信息，并且将所述待检验数据保存在所述第一服务器中；否则，输出所述待检验数据为非重复数据的提示信息，并且将所述待检验数据存储于所述第二服务器中，以及将所述待检验数据保存在所述第一服务器中。

【技术特征摘要】
1.一种数据验重的方法，其特征在于，包括：
接收待检验数据，并将待检验数据发送给第一服务器，以供第一
服务器判断该待检验数据是否已经存在于第一服务器中；
接收所述第一服务器所返回的判断结果，当该判断结果表明所述
待检验数据已存在于第一服务器时，输出用于表示所述待检验数据为
重复数据的提示信息；否则，将待检验数据发送给第二服务器，以供
第二服务器判断该待检验数据是否已经存在于第二服务器中；
接收所述第二服务器所返回的判断结果，当该判断结果表明所述
待检验数据已存在于第二服务器时，输出用于表示所述待检验数据为
重复数据的提示信息，并且将所述待检验数据保存在所述第一服务器
中；否则，输出所述待检验数据为非重复数据的提示信息，并且将所
述待检验数据存储于所述第二服务器中，以及将所述待检验数据保存
在所述第一服务器中。
2.根据权利要求1所述的方法，其特征在于，输出用于表示所述
待检验数据为重复数据的提示信息的步骤之后包括：在第二服务器中
设定已存在于第二服务器中的所述待检验数据的失效时长；
并且将所述待检验数据保存在所述第一服务器中的步骤包括：每
隔设定的时间周期获取所述第二服务器中的待检验数据，并将获取到
的数据提交给第一服务器；所述设定的时间周期小于所述待检验数据
的失效时长。
3.根据权利要求1所述的方法，其特征在于，将所述待检验数据
存储于所述第二服务器中的步骤之后包括：在第二服务器中设定所述
待检验数据的失效时长；
并且将所述待检验数据保存在所述第一服务器中的步骤包括：每
隔设定的时间周期获取所述第二服务器中的待检验数据，并将获取到
的数据提交给第一服务器；所述设定的时间周期小于所述待检验数据

\t的失效时长。
4.根据权利要求2或3所述的方法，其特征在于，将获取到的数
据提交给第一服务器的步骤之后包括：接收第一服务器所返回的数据
提交的反馈信息，如果反馈信息表示数据被第一服务器成功接收，则
缩短所述第二服务器中的数据的失效时长以使待检测数据在缩短后的
失效时长内失效；否则，重置所述第二服务器中的数据的失效时长然
后在下个时间周期获取所述待检验数据。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述
第一服务器包括：elasticsearch服务器或solr服务器；...

【专利技术属性】
技术研发人员：王石磊，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11