信息处理方法、装置、终端和存储介质制造方法及图纸

本公开提供信息处理方法及装置、终端和存储介质。信息处理方法包括：确定第一数据标识是否为空，当确定第一数据标识为空时，设置第一数据标识为空字符，并且设置第一目标数和第一变量的值，第一变量为第二数据标识与第一目标数的乘积；当确定第一数据标识不为空时，设置第一变量的值为第三数据标识与第一目标数的乘积；基于第一数据标识、第一目标数和第一变量，执行数据查询，输出数据查询结果；确定与数据查询结果中的数据对应的值最大的第一数据标识，并且根据值更新第一数据标识的值。通过更新第一数据标识的值，有效降低了数据查询压力，消除了数据库后期的分页瓶颈。消除了数据库后期的分页瓶颈。消除了数据库后期的分页瓶颈。

【技术实现步骤摘要】
信息处理方法、装置、终端和存储介质


[0001]本公开涉及信息
，尤其涉及信息处理方法及装置、终端和存储介质。

技术介绍

[0002]数据是系统的基础，做应用系统常常需要将某些数据库中的数据批量处理，比如同步到目标数据存储中(例如，关系型数据库、文档数据库等)以用于业务驱动、数据统计分析或者用作系统和业务监控依据，批处理任务一般分为数据读取、数据处理、数据写入三个部分，其中数据处理和数据写入可以简单地通过异步处理等提高批处理任务的吞吐量，但是数据读取经常由于共享资源成为批处理任务的瓶颈。

技术实现思路

[0003]为解决现有问题，本公开提供一种信息处理方法及装置、终端和存储介质。
[0004]本公开采用以下的技术方案。
[0005]本公开的实施例提供一种信息处理方法，所述信息处理方法包括：确定第一数据标识是否为空，当确定所述第一数据标识为空时，设置所述第一数据标识为空字符，并且设置第一目标数和第一变量的值，所述第一变量为第二数据标识与所述第一目标数的乘积；当确定所述第一数据标识不为空时，设置所述第一变量的值为第三数据标识与所述第一目标数的乘积；基于所述第一数据标识、所述第一目标数和所述第一变量，执行数据查询，输出数据查询结果；确定与所述数据查询结果中的数据对应的值最大的所述第一数据标识，并且根据所述值更新所述第一数据标识的值。
[0006]本公开的另一实施例提供了一种信息处理装置，所述信息处理装置包括：确定模块，配置为确定第一数据标识是否为空，当确定所述第一数据标识为空时，设置所述第一数据标识为空字符，并且设置第一目标数和第一变量的值，所述第一变量为第二数据标识与所述第一目标数的乘积；当确定所述第一数据标识不为空时，设置所述第一变量的值为第三数据标识与所述第一目标数的乘积；数据查询模块，配置为基于所述第一数据标识、所述第一目标数和所述第一变量，执行数据查询，输出数据查询结果；更新模块，配置为确定与所述数据查询结果中的数据对应的值最大的所述第一数据标识，并且根据所述值更新所述第一数据标识的值。
[0007]在一些实施例中，本公开提供一种终端，包括：至少一个存储器和至少一个处理器；其中，存储器用于存储程序代码，处理器用于调用所述存储器所存储的程序代码执行上述信息处理方法。
[0008]在一些实施例中，本公开提供一种存储介质，所述存储介质用于存储程序代码，所述程序代码用于执行上述信息处理方法。
[0009]本公开的实施例通过设置每个线程读取的数据的数量，将读取的数据分为多段数据，通过更新第一数据标识的值，有效降低了数据查询压力，消除了数据库后期的分页瓶颈。本公开的信息处理方法具有水平扩展特性，不同的结构化查询语言可以重复利用同一
个读取类，减少重复定制开发的工作量。
附图说明
[0010]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
[0011]图1是本公开的实施例的信息处理方法的流程图。
[0012]图2示出了根据一些实施例的信息处理方法的示意流程图。
[0013]图3是本公开的一些实施例的用于信息处理装置的部分模块。
[0014]图4是本公开的实施例的电子设备的结构示意图。
具体实施方式
[0015]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0016]应当理解，本公开的方法实施方式中记载的各个步骤可以按和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0017]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0018]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0019]需要注意，本公开中提及的“一个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0020]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0021]目前，针对数据库的数据读取，通常有两种方式，一种是根据数据库游标一个接一个的查询，缺点是必须按照顺序查询，没办法跳到目标的数据，导致没办法并发查询，数据读取有可能会变成整个程序的瓶颈；另一种是根据数据库设置页数和分页大小进行分页查询，可以通过设计不同的页数进行并发，缺点是数据库的分页到最后就很慢，影响性能，数据读取也有可能变成整个程序的瓶颈。因此，目前的数据读取方法，要么是水平扩展难度高，要么是到分页后期读取性能差。另外，每个业务场景对应不同的结构化查询语言(SQL)，需要定制开发数据读取代码。
[0022]数据任务处理通常包括数据读取、数据处理和数据写入，其中数据读取的来源包括网络、系统接口、文件、数据库或其他存储形式；数据处理主要是指对读取的数据进行过滤、分析、汇总等等以生成待写入的数据；数据写入通常是对处理后的数据结果进行存储或
者用于触发通知、打印日志等。
[0023]图1提供了本公开的实施例的信息处理方法的流程图。本公开的信息处理方法可以包括步骤101，确定第一数据标识是否为空，当确定第一数据标识为空时，设置第一数据标识为空字符，并且设置第一目标数和第一变量的值，第一变量为第二数据标识与第一目标数的乘积；当确定第一数据标识不为空时，设置第一变量的值为第三数据标识与第一目标数的乘积。
[0024]在一些实施例中，第一数据标识的值与读取的数据表中的数据的序号对应。例如，假设待读取的数据表中有100个数据，则可以将这100个数据进行编号，例如，从1至100，每个数据对应一个第一数据标识。例如，第一数据标识的值为35，则表示该数据为数据表中编号为35的数据。在一些实施例中，如果第一数据标识为空，则表明针对该数据表是第一次进行数据读取，根据待读取的数据所在的线程进行初始化。
[0025]在一些实施例中，第一目标数与每个线程读取的数据的数量对应。例如，如果每个线程读取的的数据的量是10个，则第一目标数是10，数据查询得到的数据量为10个数据。在一些实施例中，第一变量指的是读取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息处理方法，其特征在于，包括：确定第一数据标识是否为空，当确定所述第一数据标识为空时，设置所述第一数据标识为空字符，并且设置第一目标数和第一变量的值，所述第一变量为第二数据标识与所述第一目标数的乘积；当确定所述第一数据标识不为空时，设置所述第一变量的值为第三数据标识与所述第一目标数的乘积；基于所述第一数据标识、所述第一目标数和所述第一变量，执行数据查询，输出数据查询结果；确定与所述数据查询结果中的数据对应的值最大的所述第一数据标识，并且根据所述值更新所述第一数据标识的值。2.根据权利要求1所述的信息处理方法，其特征在于，所述第一数据标识的值与读取的数据表中的数据的序号对应。3.根据权利要求1所述的信息处理方法，其特征在于，所述第一目标数与每个线程读取的数据的数量对应。4.根据权利要求1所述的信息处理方法，其特征在于，所述第二数据标识和所述第三数据标识与读取数据的线程的标识符对应。5.根据权利要求1所述的信息处理方法，其特征在于，输出数据查询结果包括：输出所述第一目标数个紧随着所述第一数据标识对应的数据之后的数据。6.根据权利要求4所述的信息处理方法，其特征在于，读取数据的线程的标识符为机器分片编号、每个机器的线程数量和每个机器的线程编号的函数。7.根据权利要求6所述的信息处理方法，其特征在于，读取数据的线程的标识符...

【专利技术属性】
技术研发人员：王文涵，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：