数据处理方法、装置及系统制造方法及图纸

本发明专利技术涉及一种数据处理方法，包括：获取传输的目标数据；从该目标数据中获取多种不同类型的数值的数值列表；将该不同类型的数值的数值列表分别按照各自对应的压缩规则进行压缩，使得各该不同类型的数值的数值列表的长度缩短；将压缩后的数据发送给接收端。本发明专利技术还提供一种数据处理装置及系统。上述数据处理方法、装置及系统可以有效提高服务器之间的数据处理率。

【技术实现步骤摘要】

本专利技术涉及计算机
，尤其涉及一种数据处理方法、装置及系统。
技术介绍
随着计算机技术与互联网技术的发展，网络服务运营商为用户提供的业务服务也越来也多，为了更好对业务服务进行管理，网络服务运营商通常通过各自独立的平台服务器来为用户提供咨询窗口，后台服务器需要经历多个模块的协同工作来完成一系列复杂的搜索操作。以可根据用户在客户端页面提问的问题，以文字、图片及视频等丰富的形式，为用户直观的展示该问题相关的游戏攻略的某游戏产品为例，该产品对外部用户提供的功能，其实就是一个基于海量游戏攻略的搜索引擎，用户每次提问问题的背后，后台服务器需要经历多个模块的协同工作来完成一系列复杂的搜索操作，包含问题分词、游戏攻略的加载和搜索计算等操作。现有技术中，在不同服务器之前的数据都是未经压缩直接传送的，存在数据传输效率低下，占用过多的网络带宽，单次问题搜索的时间过长等缺点。
技术实现思路
有鉴于此，本专利技术提供一种数据处理方法、装置及系统，可以有效提高数据的传输率。本专利技术实施例提供的一种数据处理方法，包括：获取传输的目标数据；从所述目标数据中获取多种不同类型的数值的数值列表；将所述不同类型
的数值的数值列表分别按照各自对应的压缩规则进行压缩，使得各所述不同类型的数值的数值列表的长度缩短；将压缩后的数据发送给接收端。本专利技术实施例提供的另一种数据处理方法，包括：发送端获取传输的目标数据，从所述目标数据中获取多种不同类型的数值的数值列表，将所述不同类型的数值的数值列表分别按照各自对应的压缩规则进行压缩，使得各所述不同类型的数值的数值列表的长度缩短，将压缩后的数据发送给接收端；所述接收端接收所述发送端发送的所述压缩后的数据，按照各自对应的解压规则分别解压所述不同类型的数值的数值列表，根据解压后的所述不同类型的数值还原所述目标数据。本专利技术实施例提供的一种数据处理装置，包括：目标数据获取模块，用于获取传输的目标数据；数值列表获取模块，用于从所述目标数据获取模块获取的所述目标数据中获取多种不同类型的数值的数值列表；压缩模块，用于将所述数值列表获取模块获取的所述不同类型的数值的数值列表分别按照各自对应的压缩规则进行压缩，使得各所述不同类型的数值的数值列表的长度缩短；发送模块，用于将所述压缩模块压缩后的数据发送给接收端。本专利技术实施例提供的一种数据处理系统，包括：运行有上述数据处理装置的发送端，以及接收端；该接收端包括：接收模块，用于接收所述发送端发送的所述压缩后的数据；解压模块，用于按照各自对应的解压规则分别解压所述不同类型的数值的数值列表；还原模块，用于根据解压后的所述不同类型的数值还原目标数据。本专利技术实施例提供的数据处理方法、装置及系统，通过从传输的目标数据中获取多种不同类型的数值的数值列表，然后将该不同类型的数值的数值列表分别按照各自对应的压缩规则进行压缩，再将压缩后的数据发送给接收端，可降低传输的数据量，从而有效降低后台服务器的网络带宽占用，提高数据处理效率。为让本专利技术的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。附图说明图1为本专利技术实施例提供的数据处理方法及装置的应用环境图；图2示出了一种服务器的结构框图；图3为本专利技术第一实施例提供的一种数据处理方法的流程图；图4为本专利技术第二实施例提供的一种数据处理方法的流程图；图5为本专利技术第二实施例提供的一种数据处理方法中压缩前后的整型数值的数值列表的示意图；图6为本专利技术第二实施例提供的一种数据处理方法中压缩前后的浮点型数值的数值列表的示意图；图7为本专利技术第二实施例提供的一种数据处理方法中优化前后的数据传输字节数对比图；图8为本专利技术第三实施例提供的一种数据处理方法的时序图；图9为本专利技术第三实施例提供的一种数据处理方法中数据压缩及解压缩的示例图；图10为本专利技术第四实施例提供的一种数据处理装置的结构示意图；图11为本专利技术第五实施例提供的一种数据处理装置的结构示意图；图12为本专利技术第六实施例提供的一种数据处理系统的结构示意图。具体实施方式为更进一步阐述本专利技术为实现预定专利技术目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本专利技术的具体实施方式、结构、特征及其功效，详细说明如后。图1为本专利技术实施例提供的数据处理方法及装置的应用环境图。如图1
所示，一个或多个发送端100(图1中仅示出一个)与一个或多个接收端200(图1中仅示出一个)位于有线或无线网络中，通过该有线或无线网络进行数据交互，以实现以下各实施例提供的数据处理方法。上述的接收端200和发送端100可以是服务器，所述服务器是指部署在网络环境中的计算机，用于侦听接收到的数据处理请求，并处理所述请求。发送端100获取传输的目标数据，从该目标数据中获取多种不同类型的数值的数值列表，将该不同类型的数值的数值列表分别按照各自对应的压缩规则进行压缩，使得各该不同类型的数值的数值列表的长度缩短，将压缩后的数据发送给接收端200。接收端200接收发送端100发送的该压缩后的数据，按照各自对应的解压规则分别解压该不同类型的数值的数值列表，根据解压后的该不同类型的数值还原该目标数据。图2示出了一种服务器的结构框图，可适用发送端100或接收端200。如图2所示，该服务器包括：存储器101、处理器102以及网络模块103。可以理解地，图2所示的结构仅为示意，该服务器还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。另外，本专利技术实施例中的服务器还可以包括多个具体不同功能的服务器。存储器101可用于存储软件程序以及模块，如本专利技术实施例中的数据处理方法与装置对应的程序指令/模块，处理器102通过运行存储在存储器101内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本专利技术实施例中的数据处理方法。存储器101可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器101可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至该服务器。进一步地，上述软件程序以及模块还可包括：操作系统121以及服务模块122。其中操作系统121，例如可为LINUX、UNIX、WINDOWS等等，
其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通讯，从而提供其他软件组件的运行环境。服务模块122运行在操作系统121的基础上，并通过操作系统121的网络服务监听来自网络的请求，根据请求完成相应的数据处理，并返回处理结果给客户端。也就是说，服务模块122用于向客户端提供网络服务。网络模块103用于接收以及发送网络信号。上述网络信号可包括无线信号或者有线信号。在一个实例中，上述网络信号为有线网络信号。此时，网络模块103可包括处理器、随机存储器、转换器、晶体振荡器等元件。以下将结合具体的实施例进一步说明上述发送端100与接收端200各自的工作过程。第一实施例请参阅图3，为本专利技术第一实施例提供的一种数据处理方法的流程图，本实施例是基于发送端100一侧对本专利技术提本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：获取传输的目标数据；从所述目标数据中获取多种不同类型的数值的数值列表；将所述不同类型的数值的数值列表分别按照各自对应的压缩规则进行压缩，使得各所述不同类型的数值的数值列表的长度缩短；将压缩后的数据发送给接收端。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取传输的目标数据；从所述目标数据中获取多种不同类型的数值的数值列表；将所述不同类型的数值的数值列表分别按照各自对应的压缩规则进行压缩，使得各所述不同类型的数值的数值列表的长度缩短；将压缩后的数据发送给接收端。2.如权利要求1所述的数据处理方法，其特征在于，所述不同类型的数值包括整型数值以及浮点型数值，所述整型数值与所述浮点型数值一一对应，则所述将所述不同类型的数值的数值列表分别按照各自对应的压缩规则进行压缩包括：将所述整型数值的数值列表中的整型数值按照第一压缩规则进行压缩，以及将所述浮点型数值的数值列表中的浮点型数值按照第二压缩规则进行压缩；或者，将所述整型数值的数值列表中的整型数值以及所述浮点型数值的数值列表中的浮点型数值，分别按照所述第二压缩规则进行压缩。3.如权利要求2所述的方法，其特征在于，所述将所述整型数值的数值列表中的整型数值按照第一压缩规则进行压缩，以及将所述浮点型数值的数值列表中的浮点型数值按照第二压缩规则进行压缩包括：保留所述整型数值的数值列表中位于首位的整型数值，将除所述位于首位的整型数值以外的其他整型数值分别处理为与前一位整型数值的差值；统计所述浮点型数值的数值列表中的相同的浮点型数值的数量，通过记录相同的浮点型数值以及对应的数量以合并相同的浮点型数值。4.如权利要求2所述的方法，其特征在于，所述将所述整型数值的数
\t值列表中的整型数值按照第一压缩规则进行压缩，以及将所述浮点型数值的数值列表中的浮点型数值按照第二压缩规则进行压缩包括：对所述浮点型数值的数值列表中的所有浮点型数值进行排序，并统计相同的浮点型数值的数量，通过记录相同的浮点型数值以及对应的数量以合并相同的浮点型数值；根据排序后的所述浮点型数值的数值列表，以及所述浮点型数值与所述整型数值之间一一对应的逻辑对应关系，调整所述整型数值的数值列表中的所有整型数值的顺序，保留顺序调整后的所述整型数值的数值列表中位于首位的整型数值，将除所述位于首位的整型数值以外的其他整型数值分别处理为与前一位整型数值的差值。5.如权利要求2所述的数据处理方法，其特征在于，所述将所述整型数值的数值列表中的整型数值以及所述浮点型数值的数值列表中的浮点型数值，分别按照所述第二压缩规则进行压缩包括：统计所述整型数值的数值列表中相同的整型数值的数量，通过记录相同的整型数值以及对应的数量以合并相同的整型数值；统计所述浮点型数值的数值列表中相同的浮点型数值的数量，通过记录相同的浮点型数值以及对应的数量以合并相同的浮点型数值。6.如权利要求1至5的任一项所述的方法，其特征在于，所述将压缩后的数据发送给接收端包括：将所述压缩后的数据按照LZ4算法进行压缩后发送给所述接收端。7.一种数据处理方法，其特征在于，包括：发送端获取传输的目标数据，从所述目标数据中获取多种不同类型的数值的数值列表，将所述不同类型的数值的数值列表分别按照各自对应的压缩规则进行压缩，使得各所述不同类型的数值的数值列表的长度缩短，将压缩后的数据发送给接收端；所述接收端接收所述发送端发送的所述压缩后的数据，按照各自对应
\t的解压规则分别解压所述不同类型的数值的数值列表，根据解压后的所述不同类型的数值还原所述目标数据。8.如权利要求7所述的方法，其特征在于，所述分别解压所述不同类型的数值的数值列表包括：按照LZ4算法解压所述压缩后的数据；按照各自对应的解压规则分别解压所述不同类型的数值的数值列表。9.如权利要求8所述的方法，其特征在于，所述不同类型的数值包括整型数值以及浮点型数值，所述整型数值与所述浮点型数值一一对应，则根据所述解压后的所述不同类型的数值还原所述目标数包括：将解压后的所述整型数值按照从小到大的顺序进行排列；根据排列后的所述整型数值以及所述整型数值与所述浮点型数值之间一一对应的逻辑对应关...

【专利技术属性】
技术研发人员：杨建伟，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：广东;44