文件传输方法和系统技术方案

本发明专利技术公开了一种文件传输方法和系统，涉及网络技术，能够解决现有的海量文件传输不稳定和效率低的问题。文件传输方法，包括：将文件上传到中转目录；从所述中转目录下抽取文件并将所抽取的文件打包形成压缩文件包；将所述压缩文件包复制到本地磁盘的目标目录下。文件传输系统，包括：本地磁盘、异地磁盘，还包括：文件中转单元，用于将文件上传并缓存；文件抽取单元，用于抽取所述文件中转单元缓存的文件，并将所抽取的文件打包形成压缩文件包；传输单元，用于将所述压缩文件包复制到本地磁盘的目标目录下。本发明专利技术适用于公司内网对ＩＤＣ机房的海量文件传输。

【技术实现步骤摘要】

本专利技术涉及网络技术，尤其涉及一种文件传输的方法和系统。
技术介绍
互联网数据中心(Internet Data Center)简称IDC，就是通信服务商利用已有的 互联网通信线路、带宽资源，建立标准化的通信专业级机房环境。IDC是伴随着互联网不 断发展的需求而发展起来的，它为ICP(互联网通信服务提供商，Internet Communication Provider)、企业、媒体和各类网站提供大规模、高质量、安全可靠的专业化服务器托管、空 间租用、网络批发带宽以及ASP(动态服务器页面，Active Server Page) 、 EC(电子商务， Electronic Commerce)等业务。 目前许多互联网网站的数据制作端设在公司内网，在发布数据文件制作完成后通 过专线把发布数据文件传输到IDC机房，且最终数据文件通常存储在IDC机房的多台磁盘 阵列上，IDC机房有本地磁盘和异地磁盘。大型网站的发布数据文件通常是海量的，而海量 的数据文件传输，对传输的稳定性、多存储的同步速度要求很高。由于传输专线的带宽因 素、专线的稳定因素，以及服务器与磁盘存储的缓存因素等，在数据传输和同步过程中，容 易出现以下问题 由于小带宽专线(带宽为2 8M)容易发生拥堵，导致传输一个较大文件时需要 的时间很长。在将数据直接写到Unix或Windows的磁盘阵列时，由于某些未知的缓存原因， 容易产生0字节和不完整文件，因而传输不够稳定。
技术实现思路
本专利技术的一个目的在于提供一种文件传输方法，能够解决现有的海量文件传输不 稳定，容易造成0字节文件和不完整文件的问题。 为达到上述目的，本专利技术采用如下技术方案 —种文件传输方法，包括 将文件上传到中转目录； 从所述中转目录下抽取文件并将所抽取的文件打包形成压縮文件包； 将所述压縮文件包复制到本地磁盘的目标目录下。 本专利技术文件传输方法通过将文件上传到中转目录，从所述中转目录下抽取文件并进行打包，最后将打包后形成的压縮文件包复制到本地磁盘的目标目录下，从而实现了海量文件在传输过程中能够保证文件的完整性，减少0字节文件和不完整文件。 本专利技术的另一个目的在于提供一种文件传输系统，能够解决现有的海量文件传输不稳定，容易造成0字节文件和不完整文件的问题。 为达到上述目的，本专利技术的实施例采用如下技术方案 —种文件传输系统，包括本地磁盘，还包括 文件中转单元，用于将文件上传并缓存； 文件抽取单元，用于抽取所述文件中转单元缓存的文件，并将所抽取的文件打包 形成压縮文件包； 传输单元，用于将所述压縮文件包复制到本地磁盘的目标目录下。 本专利技术文件传输系统通过文件中转单元将文件上传并缓存，并由文件抽取单元将文件抽取并打包形成压縮文件包，最后由传输单元将压縮文件包复制到本地磁盘的目标目录下，从而实现了海量文件传输过程中能够保证文件的完整性，减少0字节文件和不完整文件。附图说明 图1为本专利技术文件传输方法的流程图； 图2为本专利技术实施例一基于Unix的文件传输方法的流程图； 图3为本专利技术文件传输系统的示意图； 图4为本专利技术实施例二基于Unix的文件传输系统的示意图。 具体实施例方式下面结合附图对本专利技术实施例文件传输方法和系统行详细描述。应当明确，所描 述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本 领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术 保护的范围。 本专利技术的一个目的在于提供一种文件传输方法，能够解决现有的海量文件传输不 稳定和效率低的问题。 如图1所示，本专利技术文件传输方法，包括 S101、将文件上传到中转目录； S102、从所述中转目录下抽取文件并将所抽取的文件打包形成压縮文件包； S103、将所述压縮文件包复制到本地磁盘的目标目录下。 本专利技术文件传输方法通过将文件上传到中转目录，从所述中转目录下抽取文件并 进行打包形成压縮文件包，最后将压縮文件包复制到本地磁盘的目标目录下，从而实现了 海量文件传输过程中能够保证文件的完整性，减少0字节文件和不完整文件。 实施例一 本实施例以基于Unix的文件传输方法为例对本专利技术进行说明。 如图2所示，本实施例基于Unix的文件传输方法包括 S201 、将文件上传到接收服务器上的中转目录。 接收服务器的中转目录只是用于将公司内网制作、并且上传的文件进行暂时存 储。 S202、按预定时间点遍历并抽取所述中转目录下的所有文件，将抽取的所有文件 进行打包形成压縮文件包。 例如设定每小时抽取一次文件。则在抽取文件之前，应遍历所述中转目录下的所 有文件，并将所有的文件抽取出来。预定时间点可以根据上传文件的大小来进行设置，如果 文件较大，则可以设置较长时间抽取一次文件；如果上传的文件较小，可以设置较短时间抽5取一次文件。 将抽取的文件进行打包形成压縮文件包。在完成打包之后，将所述中转目录下、已 传输完成的所有文件删除，或者移动到其它位置。而对于还没有传输完成的文件则保留，并 且继续接收来自公司内网传送的剩余未传完的部分。在下一个时间点，这些文件将再次被 抽取并被打包。 S203、将所述压縮文件包复制到本地磁盘的目标目录下，并通过Samba技术将所 述压縮文件包复制到异地磁盘的目标目录下。 本专利技术并不局限于此，在Unix系统下，还可以使用NFS或RCP等技术将接收服务 区上的压縮文件包同步到异地磁盘的目标目录下。 S204、将所述本地磁盘和异地磁盘的目标目录下的压縮文件包进行解包并删除所 述本地磁盘和异地磁盘的目标目录下的压縮文件包。 如果在步骤S202中，在某个预定时间点有一个文件X没有完整地由公司内网传输 到中转目录下，但是在预定时间点也被打包到压縮文件包中，并且还传送到了目标目录下 被解压縮。但是由于文件X不是完整文件，因而在中转目录下没有被删除或移除，而是继续 接收文件中的剩余部分。若在下一次的预定时间点，文件X已经接收完整，则文件X将被再次打包传输，并解压到目标目录下。这个完整的文件X将把上一次的不完整文件X进行覆圭 S205、在文件传输过程中，对所述文件传输的过程进行定时扫描以及对所述定时 扫描中出现的异常情况进行处理。 例如，每小时对文件传输的过程进行一次扫描。可以对传输的端口 、以及文件传输 的过程是否正常的一些指标进行扫描，如果发现文件传输的过程出现异常情况，如传输过 程停止等情况，则重新启动文件传输的过程。 S206、记录对所述文件传输的过程进行定时扫描以及对所述定时扫描中出现的异 常情况进行处理的结果，并将结果输出为日志。 本专利技术实施例基于Unix的文件传输方法通过将文件从公司内网传输到中转目录 下，然后定时从中转目录下抽取并打包形成压縮文件包，并将压縮文件包复制到本地磁盘 和异地磁盘的目标目录下，从而实现了海量文件的稳定和高效率传输，避免了现有技术在 磁盘的实时写入中由于未知原因容易出现的零字节或不完整的情况。 由于带宽因素，通过内网传输专线同时向IDC中的多台阵列磁盘同步传输海量数 据文件中的lk IOOK的小文件时，每个文件都需要进行检测，因而效率非常低。由于将文 件打包进行传输，从而避免在接收文件中对每个文件所进行的检测，节省了传输时间，提高 了本文档来自技高网...

【技术保护点】
一种文件传输方法，其特征在于，包括：将文件上传到中转目录；从所述中转目录下抽取文件并将所抽取的文件打包形成压缩文件包；将所述压缩文件包复制到本地磁盘的目标目录下。

【技术特征摘要】
一种文件传输方法，其特征在于，包括将文件上传到中转目录；从所述中转目录下抽取文件并将所抽取的文件打包形成压缩文件包；将所述压缩文件包复制到本地磁盘的目标目录下。2. 根据权利要求1所述的文件传输方法，其特征在于，还包括 将所述压縮文件包复制到异地磁盘的目标目录下。3. 根据权利要求1所述的文件传输方法，其特征在于，所述中转目录设于接收服务器上。4. 根据权利要求1所述的文件传输方法，其特征在于，从所述中转目录下抽取文件包括按预定时间点遍历并抽取所述中转目录下的所有文件。5. 根据权利要求1所述的文件传输方法，其特征在于，将所述压縮文件包复制到本地 磁盘和异地磁盘的目标目录下之后，还包括将所述本地磁盘和异地磁盘的目标目录下的压縮文件包进行解包。6. 根据权利要求5所述的文件传输方法，其特征在于，将所述本地磁盘和异地磁盘的 目标目录下的压縮文件包进行解包之后，还包括删除所述本地磁盘和异地磁盘的目标目录下的压縮文件包。7. 根据权利要求1所述的文件传输方法，其特征在于，还包括对所述文件传输的过程进行定时扫描，如果在所述扫描的过程中发现所述文件传输的 过程发生异常情况，则重新启动文件传输。8. 根据权利要求7所述的文件传输方法，其特征在于，还包括记录对文件传输的过程进行定时扫描以及对所述定时扫描中出现的异常情况进行处 理的结果。9. 根据权利要求8所述的文件传输方法，其特征在于，还包括 将所述结果输出为日志。10. —种文件传输系统，包括本地磁盘，其特征在于，还包括 文件中转单元，用于将文件上传并缓存；文件抽取单元，用于抽取所述文件中转单元缓存的文件，并将所抽取的文件打包形成压縮文件包；传输单元，用于将所述压縮文件包复制到本地磁盘的目...

【专利技术属性】
技术研发人员：李守亮，
申请(专利权)人：北大方正集团有限公司，北京方正阿帕比技术有限公司，
类型：发明
国别省市：11[中国|北京]