一种文件存储及下载方法、装置及设备制造方法及图纸

本说明书实施例公开了一种文件存储及下载方法、装置及设备。所述文件存储方法包括：接收待存储的多个源文件；将待存储的多个源文件进行合并，得到一个或多个合并文件，并生成与所述合并文件中的源文件对应的元信息；将合并文件存储于第一存储介质，元信息存储于第二存储介质。所述文件下载方法包括：接收文件下载请求；根据文件下载请求，获取文件下载请求对应的元信息；根据文件下载请求对应的元信息，定位文件下载请求对应的合并文件中的源文件；从文件下载请求对应的合并文件中，下载文件下载请求所对应的源文件。载请求所对应的源文件。载请求所对应的源文件。

【技术实现步骤摘要】
一种文件存储及下载方法、装置及设备


[0001]本说明书涉及计算机
，尤其涉及一种文件存储及下载方法、装置及设备。

技术介绍

[0002]随着电商的发展，基于电商开展的支付业务越来越多，每天会生成上亿级的离线账单，产生海量数据。该离线账单需要存储到稳定且持久的存储介质中，以便用户下载使用。
[0003]在现有技术中，对于诸如离线账单等海量数据的存储，使用OSS(Object StorageService，对象存储)存储，能够实现数据的安全、可靠及低成本存储，但是该存储方式对小文件处理性能不高，由于需要对小文件单独进行I/O(input/output，输入/输出)操作，导致存储低效。离线账单等海量数据的存储也可以采用HBase进行存储，由于HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，因此能够较好的支持海量数据的存储，方便后续查询及下载，但是HBase需要较大的集群及相应的维护人员，因此存储成本较高。
[0004]基于现有技术，需要一种新的方法，能够满足海量小文件的存储需要，既能实现高效的存储，又能维持较低的存储成本，从而实现稳定、可靠、高效的文件存储及下载。

技术实现思路

[0005]本说明书实施例提供一种文件存储及下载方法、装置及设备，用于解决以下技术问题：能够满足海量小文件的存储需要，既能实现高效的存储，又能维持较低的存储成本，从而实现稳定、可靠、高效的文件存储及下载。
[0006]为解决上述技术问题，本说明书实施例是这样实现的：
[0007]本说明书实施例提供的一种文件存储方法，包括：
[0008]接收待存储的多个源文件；
[0009]将所述待存储的多个源文件进行合并，得到一个或多个合并文件，并生成与所述合并文件中的源文件对应的元信息，其中所述元信息用于记录所述源文件与所述合并文件之间的对应关系；
[0010]将所述合并文件存储于第一存储介质，所述信息存储于第二存储介质，其中，所述第一存储介质的存储成本低于所述第二存储介质，所述第二存储介质的存储效率高于所述第一存储介质。
[0011]本说明书实施例还提供一种文件下载方法，包括：
[0012]接收文件下载请求；
[0013]根据所述文件下载请求，获取所述文件下载请求对应的元信息；
[0014]根据所述文件下载请求对应的元信息，定位所述文件下载请求对应的合并文件中的源文件；
[0015]从所述文件下载请求对应的合并文件中，下载所述文件下载请求所对应的源文
件。
[0016]本说明书实施例提供的一种文件存储装置，包括：
[0017]接收单元，用于接收待存储的多个源文件；
[0018]处理单元，将所述待存储的多个源文件进行合并，得到一个或多个合并文件，并生成与所述合并文件中的源文件对应的元信息，其中所述元信息用于记录所述源文件与所述合并文件之间的对应关系；
[0019]存储单元，将所述合并文件存储于第一存储介质，所述元信息存储于第二存储介质，其中，所述第一存储介质的存储成本低于所述第二存储介质，所述第二存储介质的存储效率高于所述第一存储介质。
[0020]本说明书实施例还提供一种文件下载装置，包括：
[0021]接收单元，用于接收文件下载请求；
[0022]查找单元，获取所述文件下载请求对应的元信息，根据所述文件下载请求对应的元信息，定位所述文件下载请求对应的合并文件中的源文件；
[0023]下载单元，从所述文件下载请求对应的合并文件中，下载所述文件下载请求所对应的源文件。
[0024]本说明书实施例还提供电子设备，包括：
[0025]至少一个处理器；以及，
[0026]与所述至少一个处理器通信连接的存储器；其中，
[0027]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够实现文件存储和/或文件下载。
[0028]本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0029]本实施例采用融合第一存储介质和第二存储介质的方法，通过合并存储进行文件存储，能够实现高效低成本存储；源文件在合并文件中的存储格式，能够恢复源文件对应的元信息，达到数据灾备的目的；在合并文件的合并过程中，生成元信息并进行存储，能够便于在文件下载时进行源文件的查询，保证文件下载的高效；在文件下载时，可以采用验证信息进行验证，从而保证文件下载的安全、可靠。
附图说明
[0030]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为本说明书提供的一种文件存储的框架图；
[0032]图2为本说明书提供的一种文件存储方法的流程图；
[0033]图3为本说明书实施例提供的单个合并文件所包含的源文件与元信息的对应关系示意图；
[0034]图4为本说明书实施例提供的合并文件的合并过程示意图；
[0035]图5为本说明书实施例提供的源文件在合并文件中的存储格式示意图；
[0036]图6为本说明书实施例提供的合并文件的合并阶段异常处理的流程图；
[0037]图7为本说明书实施例提供的一种文件下载方法的流程图；
[0038]图8为本说明书实施例提供的一种文件存储装置的示意图；
[0039]图9为本说明书实施例提供的一种文件下载装置的示意图。
具体实施方式
[0040]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0041]图1为本说明书提供的一种文件存储的框架图，该框架图具体包括：
[0042]将待存储的源文件进行合并，生成合并文件，并产生元信息。然后将合并文件上传到第一存储介质中进行存储，将元信息存储到第二存储介质中，元信息位于第二存储介质中的元文件中。显而易见，合并文件与源文件的对应关系为一对多，即一个合并文件中包含多个源文件。
[0043]下面将基于图1所示的框架图，详细说明本说明书的实施例提供的文件存储过程，该过程具体包括以下步骤，如图2所示。图2为本说明书提供的一种文件存储方法的流程图，具体包括：
[0044]步骤S201：接收待存储的多个源文件。
[0045]对于诸如离线账单等海量数据，每天均需要进行存储，以方便用户后续进行查询、下载，这些待存储的数据是亿级的数据量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文件存储方法，包括：接收待存储的多个源文件；将所述待存储的多个源文件进行合并，得到一个或多个合并文件，并生成与所述合并文件中的源文件对应的元信息；其中所述元信息用于记录所述源文件与所述合并文件之间的对应关系；将所述合并文件存储于第一存储介质，所述元信息存储于第二存储介质，其中，所述第一存储介质的存储成本低于所述第二存储介质，所述第二存储介质的存储效率高于所述第一存储介质。2.如权利要求1所述的方法，所述元信息包括源文件的起止位置、源文件路径和合并文件路径；所述元信息与所述合并文件中的源文件一一对应。3.如权利要求1所述的方法，所述将所述待存储的多个源文件进行合并，得到一个或多个合并文件，并生成与所述合并文件中的源文件对应的元信息，具体包括：在内存中按照预设格式将所述待存储的多个源文件进行合并，生成一个或多个合并文件，并生成与所述合并文件中的源文件对应的元信息，其中，所述预设格式为所述源文件在合并文件中的存储格式。4.如权利要求3所述的方法，所述预设格式包含验证信息，用于从合并文件中下载源文件时对源文件进行验证，和/或包含头部信息，用于发生元信息丢失时，获取与合并文件中的源文件对应的元信息。5.如权利要求1所述的方法，所述将所述待存储的多个源文件进行合并，得到一个或多个合并文件，并生成与所述合并文件中的源文件对应的元信息，进一步包括：在内存中根据预设界限将所有的所述待存储的多个合并文件进行合并，生成一个或多个合并文件，并生成与所述合并文件中的源文件对应的元信息，其中，所述预设界限为合并多个源文件为一个合并文件的完成条件。6.如权利要求5所述的方法，所述预设界限包括合并多个源文件过程中的源文件的数目和/或单个合并文件所占的存储容量和/或合并文件中的源文件对应的元信息所占的内存容量。7.如权利要求1所述的方法，所述将所述待存储的多个源文件进行合并，得到一个或多个合并文件，并生成与所述合并文件中的源文件对应的元信息，进一步包括：若在将所述待存储的多个源文件进行合并的过程中发生异常，则按照预设格式进行解析，从已经生成的合并文件中获取合并文件中的源文件对应的元信息以替换已经生成的元信息；按照预设格式和/或预设界限对残留的源文件进行合并，得到一个或多个新的合并文件，并生成新的与所述合并文件中的源文件对应的元信息，其中，所述残留的源文件是所述待存储的多个源文件进行合并的过程中发生异常后未进行合并的源文件；将所述已经生成的合并文件及所述新的合并文件共同构成合并文件，所述替换得到的元信息及所述新的元信息共同构成元信息。8.如权利要求1所述的方法，所述将所述合并文件存储于第一存储介质，所述元信息存储于第二存储介质，具体包括：将所述合并文件存储到第一存储介质，并将所述元信息的属性由不可上传到第二存储
介质标记为可上传到第二存储介质；将所述标记为可上传到第二存储介质的元信息存储到第二存储介质。9.如权利要求1或8任一项所述的方法，所述将所述合并文件存储于第一存储介质，所述元信息存储于第二存储介质，进一步包括：若在将所述合并文件存储于第一存储介质和/或所述元信息存储于第二存储介质的存储过程中发生异常，则按照预设格式解析残留文件后进行存储，其中，所述残留文件为所述存储过程中发生异常未进行存储的文件，所述残留文件包括合并文件和元信息。10.如权利要求9所述的方法，所述若在将所述合并文件存储于第一存储介质和/或所述元信息存储于第二存储介质的存储过程中发生异常，则按照预设格式解析残留文件后进行存储，具体包括：从所述残留文件的合并文件中，获取与残留的合并文件中的源文件对应的元信息，以替换所述残留文件中的元信息；将所述残留的合并文件存储到第一存储介质，并将所述新的元信息的属性由不可上传到第二存储介质标记为可上传到第二存储介质；将所述新的标记为可上传到第二存储介质的元信息存储到第二存储介质。11.一种文件下载方法，包括：接收文件下载请求；根据所述文件下载请求，获取所述文件下载请求对应的元信息；根据所述文件下载请求对应的元信息，定位所述文件下载请求对应的合并文件中的源文件；从所述文件下载请求对应的合并文件中，下载所述文件下载请求所对应的源文件。12.如权利要求11所述的方法，所述根据所述文件下载请求，获取所述文件下载请求对应的元信息，具体包括：根据所述文件下载请求，从第二存储介质的元信息中，获取所述文件下载请求对应的元信息。13.如权利要求11所述的方法，所述根据所述文件下载请求对应的元信息，定位所述文件下载请求对应的合并文件中的源文件，具体包括：根据所述文件下载请求对应的元信息，从第一存储介质中，定位所述文件下载请求对应的合并文件中的源文件。14.如权利要求11所述的方法，所述从所述文件下载请求对应的合并文件中，下载所述文件下载请求所对应的源文件，进一步包括：下载所述文件下载请求所对应的源文件时，利用验证信息，对所述下载的源文件进行验证；若所述验证信息验证成功，则从所述文件下载请求对应的合并文件中下载所述文件下载请求所对应的源文件；若所述验证信息验证失败，则终止下载。15.一种文件存储装置，包括：接收单元，用于接收待存储的多个源文件；处理单元，将所述待存储的多个源文件进行合并，得到一个或多个合并文件，并生成与
所...

【专利技术属性】
技术研发人员：张琦炜，李靖，
申请(专利权)人：创新先进技术有限公司，
类型：发明
国别省市：