一种数据分块压缩多通道传输方法技术

本发明专利技术属于计算机通信技术领域，具体涉及一种非破坏性的数据分块压缩多通道传输方法。它包括以下步骤，S1，获取源数据的属性信息，并将源数据分割成多个源数据块，获取源数据块的位置信息，所有源数据块采用压缩方法进行压缩得到压缩数据块；S2，判断压缩数据块的大小是否小于源数据块，如果是，则压缩数据块为待传输数据块，如果否，则源数据块为待传输数据块；S3，采用优化调度策略为待传输数据块分配物理数据传输接口，将待传输数据块经过至少两个物理数据传输接口传输至目标路径。

Data block compression multi channel transmission method

The invention belongs to the technical field of computer communication, in particular to a non-destructive data block compression multi channel transmission method. It comprises the following steps: S1, get the attribute information of the source data, and the data source is divided into a plurality of source data blocks, obtains the location information of the source data blocks, all source data compression method using block data block compression; S2, judging the data block size is not smaller than the source block of data compression, if it is compressed data blocks for transmission of data blocks, if not, the source data block to be transmitted data blocks; S3, the optimal scheduling strategy for transmitting data block allocation of physical data transmission interface, data transmission will be block by at least two physical data transmission interface to the target path.

【技术实现步骤摘要】

本专利技术属于计算机通信
，具体涉及一种非破坏性的数据分块压缩传输方法。
技术介绍
伴随大数据概念的出现，数据信息传输速度慢的问题也日益突出，受到人们的广泛关注。传统提升数据传输速度的方法主要是通过缓存机制、异步传输、和物理接口最优化。但随着计算机以及网络技术的不断发展,数据信息存储需求量越来越大,各类数据信息转储频度不断提升,对数据传输速度的要求也不断提高,传统的传输方法已无法满足其要求，物理接口已经成为数据传输的最大瓶颈。目前，最新一代的USB接口为USB3.0，理论上的传输速度能达到5Gbps，但是实际传输速度并不能达到理论值，可能只有理论值的二分之一2.5Gbps。对于7200转的硬盘，读的速度一般在5.7Gbps，通过USB3.0接口来传输数据，受到接口传输速度的影响，硬盘的数据传输速度为2.5Gbps。参考专利文献CN102063399B公开了一种多通道数据传输方法，主机配置的至少两个通用串行总线USB接口分别连接到至少两个USB数据板，该至少两个USB数据板连接到一个处理设备。该专利使用多个同一类型的传输接口传输数据，但设备上还有其他类型的数据传输接口，例如1394接口、外部串行高级技术附件eSATA接口都处于空闲状态，并没有被充分利用起来。
技术实现思路
针对现有技术存在的不足之处，本专利技术提出了一种数据分块压缩多通道传输方法，该方法将数据分块压缩后再进行传输，减小了传输数据的大小。此外，该方法能充分同时利用各种物理数据传输通道，打破传统数据传输方式速度限制，有效提高传输效率。本专利技术采用如下技术方案：一种数据分块压缩多通道传输方法，它包括以下步骤，S1，获取源数据的属性信息，并将源数据分割成多个源数据块，获取源数据块的位置信息，所有源数据块采用压缩方法进行压缩得到压缩数据块；S2，判断压缩数据块的大小是否小于源数据块，如果是，则压缩数据块为待传输数据块，如果否，则源数据块为待传输数据块；S3，采用优化调度策略为待传输数据块分配物理数据传输接口，将待传输数据块经过至少两个物理数据传输接口传输至目标路径。进一步的，步骤S1中的源数据为本地数据、远程数据或虚拟数据。进一步的，步骤S1中压缩方法包括以下步骤，S101，增加数据重复属性,表示源数据块内相同数据连续重复的次数；S102，将整个源数据块里的所有数据用数据重复属性与连续重复的数据替换连续重复的相同数据，得到压缩数据块。进一步的，步骤S1中源数据的属性信息包含数据标识、数据大小和数据校验码。进一步的，步骤S3中的优化调度策略为优先选择传输速率更快的物理数据传输接口。进一步的，步骤S3中的物理数据传输接口包括USB接口、1394接口、外部串行高级技术附件eSATA接口、网卡接口NIC或雷电接口的一种或多种组合。进一步的，步骤S3中的目标路径为本地存储、远程存储或虚拟存储。本专利技术提出了一种数据分块压缩多通道传输方法，利用多个数据传输接口进行数据传输，为了提高传输效率，首先将数据分块压缩，若压缩的后的数据更大，则传输源数据块。充分利用设备上的所有数据传输接口进行传输，不仅打破传统数据传输方式速度限制，有效提高传输效率。附图说明图1是数据分块压缩多通道传输方法的流程图；图2是数据分块压缩多通道传输方法的传输结构图。具体实施方式为进一步说明各实施例，本专利技术提供有附图。这些附图为本专利技术揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本专利技术的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。现结合附图和具体实施方式对本专利技术进一步说明。参阅图1所示，为本专利技术提出的一种数据分块压缩多通道传输方法的流程图。S1，获取源数据的属性信息，并将源数据分割成多个源数据块，获取源数据块的位置信息，所有源数据块采用压缩方法进行压缩得到压缩数据块。其中，源数据的属性信息包含数据标识、数据大小和数据校验码等信息。源数据为本地数据、远程数据、虚拟数据等所有二进制数据或文本数据。然后根据需要将源数据均等分割成多个源数据块，本领域的技术人员可知，将源数据分割成多个源数据块的方法有多种，可均分，也可不均分，也可依据数据的类型进行分割。分割后，获取每个源数据块在源数据中的位置信息，以供在后期将源数据块还原成源数据时，每个源数据块仍回到原始的位置。为了提高数据传输速度，在进行数据传输前，对所有的源数据块进行压缩。本专利技术使用的数据压缩方法如下：S101，增加数据重复属性,表示源数据块内相同数据连续重复的次数；S102，将整个源数据块里的所有数据用数据重复属性与连续重复的数据替换连续重复的相同数据，得到压缩数据块。例如源数据块为AAAABBBCCC，添加数据重复属性进行压缩后，得到的压缩数据块为4A3B3C，压缩数据块小于源数据块。若源数据块为ABCDEFFFFG，压缩后得到的压缩数据块为1A1B1C1D4F1G，压缩数据块大于源数据块。S2，判断压缩数据块的大小是否小于源数据块，如果是，则压缩数据块为待传输数据块，如果否，则源数据块为待传输数据块。获得压缩数据块的大小，与源数据块进行比较，比较两者的大小，传输较小的数据块。如果压缩数据块小于源数据块，则将压缩数据块定义为待传输数据块；否则，将源数据块定义为待传输数据块。待传输数据块使用物理数据传输接口进行传输。S3，采用优化调度策略为待传输数据块分配物理数据传输接口，将待传输数据块经过至少两个物理数据传输接口传输至目标路径。一般的计算机主机上都会有多个物理数据传输接口，目前数据传输都采用单一物理数据传输接口进行传输。但是通过单个物理数据传输接口进行数据传输的时间长，速度有限，若将多个物理数据传输接口都利用起来，使得各个物理数据传输接口能够并行进行数据传输，就可以使得数据传输的速度达到各个传输接口的传输速度之和。参阅图2所示，为数据分块压缩传输方法的传输结构图。在为各个数据块选择物理数据传输接口时，可以是随机选择的，使得数据块可以通过不同的物理数据传输接口传输到目标路径上。当然，为了使得传输效率最大化，在为数据块选择物理数据传输接口时，还可以采用一定的优化调度策略。为待传输数据块优先选择传输速率更快的物理数据传输接口。例如，可以预先设计数据并发传输极限速率算法，当需要为某一待传输数据块选择物理数据传输接口时，可本文档来自技高网...

【技术保护点】
一种数据分块压缩多通道传输方法，其特征在于：它包括以下步骤，S1，获取源数据的属性信息，并将源数据分割成多个源数据块，获取源数据块的位置信息，所有源数据块采用压缩方法进行压缩得到压缩数据块；S2，判断压缩数据块的大小是否小于源数据块，如果是，则压缩数据块为待传输数据块，如果否，则源数据块为待传输数据块；S3，采用优化调度策略为待传输数据块分配物理数据传输接口，将待传输数据块经过至少两个物理数据传输接口传输至目标路径。

【技术特征摘要】
1.一种数据分块压缩多通道传输方法，其特征在于：它包括以下步骤，
S1，获取源数据的属性信息，并将源数据分割成多个源数据块，获取源数据块的位置信
息，所有源数据块采用压缩方法进行压缩得到压缩数据块；
S2，判断压缩数据块的大小是否小于源数据块，如果是，则压缩数据块为待传输数据
块，如果否，则源数据块为待传输数据块；
S3，采用优化调度策略为待传输数据块分配物理数据传输接口，将待传输数据块经过
至少两个物理数据传输接口传输至目标路径。
2.如权利要求1所述的数据分块压缩多通道传输方法，其特征在于：所述步骤S1中的源
数据为本地数据、远程数据或虚拟数据。
3.如权利要求1或2所述的数据分块压缩多通道传输方法，其特征在于：所述步骤S1中
压缩方法包括以下步骤，
S101，增加数据重复属性,表示源数据块内相同数据连续重复...

【专利技术属性】
技术研发人员：吴江煌，黄志炜，吴世雄，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：福建;35