本申请公开了一种数据切分的传输装置与系统，避免数据文件在切分时或写入磁盘阵列时所发生的传输错误。本申请的传输装置包括：接收模块，用于接收客户端的数据文件；内存模块，连接于所述接收模块，所述内存模块用于存储数据文件；分散式文件装置，用于存储目标文件；处理模块，连接于所述接收模块、所述内存模块与所述分散式文件装置，所述处理模块生成多个内部队列，每一所述内部队列用于存储对应数据文件的路径资讯，所述处理模块根据内部队列的路径资讯将所述数据文件切分为多个切分片段，所述处理模块并行读取每一切分片段并且将切分片段写入分散式文件装置中的目标文件。
【技术实现步骤摘要】
【专利摘要】本申请公开了一种数据切分的传输装置与系统，避免数据文件在切分时或写入磁盘阵列时所发生的传输错误。本申请的传输装置包括：接收模块，用于接收客户端的数据文件；内存模块，连接于所述接收模块，所述内存模块用于存储数据文件；分散式文件装置，用于存储目标文件；处理模块，连接于所述接收模块、所述内存模块与所述分散式文件装置，所述处理模块生成多个内部队列，每一所述内部队列用于存储对应数据文件的路径资讯，所述处理模块根据内部队列的路径资讯将所述数据文件切分为多个切分片段，所述处理模块并行读取每一切分片段并且将切分片段写入分散式文件装置中的目标文件。【专利说明】数据切分的传输装置与系统
本申请涉及数据传输的系统，具体涉及一种数据切分的传输装置与系统。
技术介绍
随着网络流量的快速成长，许多过去不容易实现的服务也可以被轻易的完成。例如:宽带的上传多媒体文件(multimedia file)。由于海量的传输仍会影响本地端的负荷量。因此在已知的多媒体本地端也会具备带宽管理(Bandwidth Manager)的功能。本地端可以透过带宽分布或缓存等方式减轻同时间的资料传输量。此外，所述的传输方式更结合了多个实体磁盘，使得数据可以同步的写入所述磁盘中。而现有技术对数据写入磁盘的方式，是将数据同步的由来源端写入本地端中。本地端会暂存这些数据文件。之后，本地端在将这些数据文件分批的写入实体磁盘。这种写入的方式的实现成本低廉且快速。但是数据写入的过程中若发生错误，则数据只能重新写入。因此数据重新传输的时间就会拉长，而且也会增加网络带宽的负载。此夕卜，同一份数据文件除了要从客户端中重新载入，而且也要在本地端内部重新传输，也会导致数据重新传输的时间拉长，增加网络带宽的负载。
技术实现思路
本申请所要解决的技术问题在于提供一种数据切分的传输装置，避免数据文件在写入磁盘阵列时所发生错误，导致重新传输数据文件而延长数据存储和传输时间，加重网络带宽负载。为了解决上述问题，本申请揭示了一种数据切分的传输装置包括:接收模块，用于接收客户端的数据文件；内存模块，连接于所述接收模块，所述内存模块用于存储数据文件；分散式文件装置，用于存储目标文件；处理模块，连接于所述接收模块、所述内存模块与所述分散式文件装置，所述处理模块为接收模块接收到的数据文件创建相应的内部队列，每一所述内部队列用于存储对应的数据文件的路径资讯；所述处理模块，还用于根据内部队列中的路径资讯将所述数据文件切分为多个切分片段，并行读取每一切分片段并且将所述每一切分片段分别写入分散式文件装置中的目标文件。进一步地包括所述接收模块透过英特网络或区域网络连接于客户端。进一步地包括所述处理模块还用于生成多个工作线程，所述工作线程的数量与对应的数据文件的切分片段的数量相同；由每一工作线程并行读取每一切分片段并且将所述每一切分片段同时写入分散式文件装置中的目标文件。进一步地所述处理模块进一步监视所述内部队列与所述数据文件是否有异动。进一步地包括分散式文件装置的种类包括:磁盘、磁带或网络存储设备。为了解决上述问题，本申请揭示了一种数据切分的传输系统，包括:客户端，用于上传数据文件；本地端，透过英特网络或区域网络连接于客户端，所述本地端包括分散式文件装置，所述本地端为接收的所述数据文件创建相应的内部队列，并将接收的所述数据文件存储于所述内部队列中，所述本地端在将数据文件切分为多个切分片段之后，并行读取所述切分片段并将所述切分片段同时写入所述分散式文件装置中的目标文件。进一步地包括至少一心跳服务器，所述心跳服务器连接于所述本地端，所述本地端向心跳服务器发送心跳要求，所述心跳服务器向所述本地端发送回应讯息。进一步地包括所述心跳服务器轮流的接收自于所述控制模组的所述心跳要求。进一步地包括所述本地端记录所述数据文件的每一切分片段的起始位置与偏移量。与现有技术相比，本申请可以获得包括以下技术效果:I)本申请改进数据文件的传输过程，数据文件写入时若发生错误，本申请不需重新从客户端中取得数据文件。2)本申请若于传输数据文件的期间中发生错误，本申请可以透过至少一台心跳服务器发报给后台人员，使得后台人员可以实时的得知何项组件发生异常。当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。【专利附图】【附图说明】此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中:图1A是本申请实施例的系统架构示意图。图1B是本申请实施例的本地端架构示意图。图2是本申请实施例的运作流程示意图。【具体实施方式】以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。本申请的数据切分的传输系统与装置，请参考第IA与IB图。本申请的传输系统包括:客户端110、透过英特网络或区域网络连接于客户端110本地端120与多台心跳服务器 130。客户端110用于上传数据文件。本地端120连接于客户端110，所述本地端120包括分散式文件装置，所述本地端120将接收的所述数据文件存储于内部队列中，所述本地端120将数据文件切分为多个切分片段，所述本地端120并行读取所述切分片段并将所述切分片段同时写入分散式文件装置的目标文件。所述本地端优选为存储服务器。所述分散式文件装置的种类包括:磁盘、磁带或网络存储设备。本申请的本地端120由以下的硬件所构成:接收模块121、内存模块122、处理模块123与分散式文件装置124。接收模块121，用于接收客户端110的数据文件；内存模块122，连接于所述接收模块121，所述内存模块122用于存储数据文件；分散式文件装置124，用于存储目标文件；处理模块123，连接于所述接收模块121、所述内存模块122与所述分散式文件装置124，所述处理模块123为接收模块121接收到的数据文件创建相应的内部队列，每一所述内部队列用于存储对应的数据文件的路径资讯；所述处理模块123，还用于根据内部队列中的路径资讯将所述数据文件切分为多个切分片段，并行读取每一切分片段并且将所述每一切分片段分别写入分散式文件装置124中的目标文件。所述处理模块123，还用于生成本文档来自技高网...
【技术保护点】
一种数据切分的传输装置，其特征在于，包括：接收模块，用于接收客户端的数据文件；内存模块，连接于所述接收模块，所述内存模块用于存储数据文件；分散式文件装置，用于存储目标文件；以及处理模块，连接于所述接收模块、所述内存模块与所述分散式文件装置，所述处理模块为接收模块接收到的数据文件创建相应的内部队列，每一所述内部队列用于存储对应的数据文件的路径资讯；所述处理模块，还用于根据内部队列中的路径资讯将所述数据文件切分为多个切分片段，并行读取每一切分片段并且将所述每一切分片段分别写入分散式文件装置中的目标文件。
【技术特征摘要】
【专利技术属性】
技术研发人员：于凤东，张磊，马一鸣，
申请(专利权)人：乐视网信息技术北京股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。