数据传输方法和装置制造方法及图纸

本申请实施例公开了数据传输方法和装置。该方法可应用于云计算领域，该方法的一具体实施方式包括：从该待传输的文件中，获取连续的零以外的数据，其中，该连续的零中零的数量大于第一预设阈值；向目标电子设备传输所获取的数据。本申请实施例提供的方法获取连续的零以外的数据进行传输，实现了仅传输有效数据，从而在避免无效传输的同时，缩短了数据的传输时间，降低了对带宽的要求。

Data transmission method and device

【技术实现步骤摘要】
数据传输方法和装置
本申请实施例涉及计算机
，具体涉及互联网
，尤其涉及数据传输方法和装置。
技术介绍
随着信息技术的革新，设备之间要传输的数据量也越来越大。而随着待传输数据量的攀升，传输数据需要占用很大的带宽。因而，大量数据的传输不仅对带宽要求高，也容易造成传输速度较慢的问题。在现有技术中，常规的数据压缩方式，会降低带宽的占用，但与此同时也会降低传输速度。
技术实现思路
本申请实施例提出了数据传输方法和装置。第一方面，本申请实施例提供了一种数据传输方法，包括：从待传输的文件中，获取连续的零以外的数据，其中，连续的零中零的数量大于第一预设阈值；向目标电子设备传输所获取的数据。在一些实施例中，在从待传输的文件中，获取连续的零以外的数据之前，方法还包括：确定待传输的文件中连续的零的位置，其中，连续的零的位置包括连续的零的起始位置和数量；以及向目标电子设备传输所获取的数据，包括：向目标电子设备传输所获取的数据，以及连续的零的位置。在一些实施例中，从待传输的文件中，获取连续的零以外的数据，包括：响应于在待传输的文件中，存在所包含零的数量大于或等于第二预设阈值的连续的零，且本设备的内核支持用于指示连续的零的读取方式的预设配置信息，基于连续的零的位置，从本地的存储有待传输的文件的预设存储空间，跳过该连续的零读取数据到缓冲区中，将所读取的数据作为所获取的数据，其中，第二预设阈值大于第一预设阈值。在一些实施例中，确定待传输的文件中连续的零的位置，包括：在预设存储空间中，扫描待传输的文件中该连续的零的位置的元数据，基于扫描结果确定连续的零的位置。在一些实施例中，在从待传输的文件中，获取连续的零以外的数据之前，方法还包括：响应于在待传输的文件中，存在所包含零的数量大于或等于第二预设阈值的连续的零，且本设备的内核不支持用于指示所述连续的零的读取方式的预设配置信息，从本地的存储有待传输的文件的预设存储空间，读取包括该连续的零的数据到缓冲区中，其中，第二预设阈值大于第一预设阈值；以及从待传输的文件中，获取连续的零以外的数据，包括：在缓冲区中，查找所读取的数据中所包括的连续的零；提取查找到的连续的零以外的数据作为所获取的数据。在一些实施例中，向目标电子设备传输所获取的数据，包括：确定该连续的零的位置，向目标电子设备传输所获取的数据，以及连续的零的位置。在一些实施例中，从待传输的文件中，获取连续的零以外的数据，包括：响应于在待传输的文件中，存在所包含零的数量小于第二预设阈值且大于第一预设阈值的连续的零，采用顺序输入的方式，从本地存储有待传输的文件的预设存储空间，读取包括该连续的零的数据到缓冲区中，将所读取的数据作为所获取的数据。在一些实施例中，响应于本设备中的磁盘为第一磁盘，预设存储空间为磁盘的空间；响应于本设备中的磁盘为第二磁盘，预设存储空间包括缓存空间，其中，第一磁盘的运行速度大于参考运行速度，参考运行速度大于第二磁盘的运行速度。在一些实施例中，向目标电子设备传输所获取的数据，包括：向目标电子设备发送连续的零的位置，以使目标电子设备在目标电子设备的磁盘中创建稀疏文件，并跳过连续的零的位置向稀疏文件中写入接收到的数据中连续的零以外的数据。在一些实施例中，在向目标电子设备传输所获取的数据之前，方法还包括：采用哈希校验的方式，生成校验值；采用多线程压缩的方式，对所获取的数据进行实时压缩，得到压缩文件；以及向目标电子设备传输所获取的数据，包括：向目标电子设备发送压缩文件以及校验值。在一些实施例中，向目标电子设备传输所获取的数据，包括：基于指定传输协议，采用令牌桶算法向目标电子设备传输所获取的数据。第二方面，本申请实施例提供了一种数据传输装置，包括：获取单元，被配置成从待传输的文件中，获取连续的零以外的数据，其中，连续的零中零的数量大于第一预设阈值；传输单元，被配置成向目标电子设备传输所获取的数据。在一些实施例中，装置还包括：确定单元，被配置成在从待传输的文件中，获取连续的零以外的数据之前，确定待传输的文件中连续的零的位置，其中，连续的零的位置包括连续的零的起始位置和数量；以及传输单元，进一步被配置成按照如下方式执行向目标电子设备传输所获取的数据：向目标电子设备传输所获取的数据，以及连续的零的位置。在一些实施例中，获取单元，进一步被配置成按照如下方式执行从待传输的文件中，获取连续的零以外的数据：响应于在待传输的文件中，存在所包含零的数量大于或等于第二预设阈值的连续的零，且本设备的内核支持用于指示所述连续的零的读取方式的预设配置信息，基于连续的零的位置，从本地的存储有待传输的文件的预设存储空间，跳过该连续的零读取数据到缓冲区中，将所读取的数据作为所获取的数据，其中，第二预设阈值大于第一预设阈值。在一些实施例中，确定单元进一步被配置成按照如下方式执行确定待传输的文件中连续的零的位置：在预设存储空间中，扫描待传输的文件中该连续的零的位置的元数据，基于扫描结果确定连续的零的位置。在一些实施例中，装置还包括：读取单元，被配置成在从待传输的文件中，获取连续的零以外的数据之前，响应于在待传输的文件中，存在所包含零的数量大于或等于第二预设阈值的连续的零，且本设备的内核不支持用于指示所述连续的零的读取方式的预设配置信息，从本地的存储有待传输的文件的预设存储空间，读取包括该连续的零的数据到缓冲区中，其中，第二预设阈值大于第一预设阈值；以及获取单元，被配置成按照如下方式执行从待传输的文件中，获取连续的零以外的数据：在缓冲区中，查找所读取的数据中所包括的连续的零；提取查找到的连续的零以外的数据作为所获取的数据。在一些实施例中，传输单元，进一步被配置成按照如下方式执行向目标电子设备传输所获取的数据：确定该连续的零的位置，向目标电子设备传输所获取的数据，以及连续的零的位置。在一些实施例中，获取单元，进一步被配置成按照如下方式执行从待传输的文件中，获取连续的零以外的数据：响应于在待传输的文件中，存在所包含零的数量小于第二预设阈值且大于第一预设阈值的连续的零，采用顺序输入的方式，从本地存储有待传输的文件的预设存储空间，读取包括该连续的零的数据到缓冲区中，将所读取的数据作为所获取的数据。在一些实施例中，响应于本设备中的磁盘为第一磁盘，预设存储空间为磁盘的空间；响应于本设备中的磁盘为第二磁盘，预设存储空间包括缓存空间，其中，第一磁盘的运行速度大于参考运行速度，参考运行速度大于第二磁盘的运行速度。在一些实施例中，传输单元，进一步被配置成按照如下方式执行向目标电子设备传输所获取的数据：向目标电子设备发送连续的零的位置，以使目标电子设备在目标电子设备的磁盘中创建稀疏文件，并跳过连续的零的位置向稀疏文件中写入接收到的数据中连续的零以外的数据。在一些实施例中，装置还包括：校验值生成单元，被配置成在向目标电子设备传输所获取的数据之前，采用哈希校验的方式，生成校验值；压缩单元，被配置成采用多线程压缩的方式，对所获取的数据进行实时本文档来自技高网...

【技术保护点】
1.一种数据传输方法，所述方法包括：/n从所述待传输的文件中，获取连续的零以外的数据，其中，所述连续的零中零的数量大于第一预设阈值；/n向目标电子设备传输所获取的数据。/n

【技术特征摘要】
1.一种数据传输方法，所述方法包括：
从所述待传输的文件中，获取连续的零以外的数据，其中，所述连续的零中零的数量大于第一预设阈值；
向目标电子设备传输所获取的数据。


2.根据权利要求1所述的方法，其中，在所述从所述待传输的文件中，获取连续的零以外的数据之前，所述方法还包括：
确定所述待传输的文件中连续的零的位置，其中，所述连续的零的位置包括连续的零的起始位置和数量；以及
所述向目标电子设备传输所获取的数据，包括：
向目标电子设备传输所获取的数据，以及所述连续的零的位置。


3.根据权利要求2所述的方法，其中，所述从所述待传输的文件中，获取连续的零以外的数据，包括：
响应于在所述待传输的文件中，存在所包含零的数量大于或等于第二预设阈值的所述连续的零，且本设备的内核支持用于指示所述连续的零的读取方式的预设配置信息，基于所述连续的零的位置，从本地的存储有所述待传输的文件的预设存储空间，跳过该连续的零读取数据到所述缓冲区中，将所读取的数据作为所获取的数据，其中，所述第二预设阈值大于所述第一预设阈值。


4.根据权利要求3所述的方法，其中，所述确定所述待传输的文件中连续的零的位置，包括：
在所述预设存储空间中，扫描所述待传输的文件中该连续的零的位置的元数据，基于扫描结果确定所述连续的零的位置。


5.根据权利要求1所述的方法，其中，在所述从所述待传输的文件中，获取连续的零以外的数据之前，所述方法还包括：
响应于在所述待传输的文件中，存在所包含零的数量大于或等于第二预设阈值的所述连续的零，且本设备的内核不支持用于指示所述连续的零的读取方式的预设配置信息，从本地的存储有所述待传输的文件的预设存储空间，读取包括该连续的零的数据到缓冲区中，其中，所述第二预设阈值大于所述第一预设阈值；以及
所述从所述待传输的文件中，获取连续的零以外的数据，包括：
在所述缓冲区中，查找所读取的数据中所包括的连续的零；
提取查找到的连续的零以外的数据作为所获取的数据。


6.根据权利要求5所述的方法，其中，所述向目标电子设备传输所获取的数据，包括：
确定该连续的零的位置，向所述目标电子设备传输所获取的数据，以及所述连续的零的位置。


7.根据权利要求1所述的方法，其中，所述从所述待传输的文件中，获取连续的零以外的数据，包括：
响应于在所述待传输的文件中，存在所包含零的数量小于第二预设阈值且大于所述第一预设阈值的所述连续的零，采用顺序输入的方式，从本地存储有所述待传输的文件的预设存储空间，读取包括该连续的零的数据到缓冲区中，将所读取的数据作为所获取的数据。


8.根据权利要求3-7之一所述的方法，其中，
响应于本设备中的磁盘为第一磁盘，所述预设存储空间为所述磁盘的空间；
响应于本设备中的磁盘为第二磁盘，所述预设存储空间包括缓存空间，其中，第一磁盘的运行速度大于参考运行速度，所述参考运行速度大于所述第二磁盘的运行速度。


9.根据权利要求2-6之一所述的方法，其中，所述向目标电子设备传输所获取的数据，包括：
向所述目标电子设备发送所述连续的零的位置，以使所述目标电子设备在所述目标电子设备的磁盘中创建稀疏文件，并跳过所述连续的零的位置向所述稀疏文件中写入接收到的数据中所述连续的零以外的数据。


10.根据权利要求1所述的方法，其中，在向目标电子设备传输所获取的数据之前，所述方法还包括：
采用哈希校验的方式，生成校验值；
采用多线程压缩的方式，对所获取的数据进行实时压缩，得到压缩文件；以及
所述向目标电子设备传输所获取的数据，包括：
向所述目标电子设备发送所述压缩文件以及所述校验值。


11.根据权利要求1所述的方法，其中，所述向目标电子设备传输所获取的数据，包括：
基于指定传输协议，采用令牌桶算法向目标电子设备传输所获取的数据。


12.一种数据传输装置，所述装置包括：
获取单元，被配置成从所述待传输的文件中，获取连续的零以外的数据，其中，所述连续的零中零的数量大于第一预设阈值；
传输单元，被配置成向目标电子设备传输所获取的数据。


13.根据权利要求12所述的装置，其中，所述装置还包括：
确定单元，被配置成在所述从所述待传输的文件中，获取连续的零以外的数据之前，确定所述待传输的文件中连续的零...

【专利技术属性】
技术研发人员：刘聪，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11