一种文件上传校验方法及系统技术方案

本发明专利技术适用于网络通信领域，提供了一种文件上传校验方法及系统，所述方法包括如下步骤：存储根据上传组件上传的文件分片计算出的文件分片校验信息，以及下载客户端上报的文件分片校验信息；将存储的文件分片校验信息与从上传组件上传的文件分片计算的文件分片校验信息进行比较，验证上传组件上传的文件分片是否正确，将验证正确的文件分片写入云存储服务器。本发明专利技术通过将上传过程和P2SP多源下载技术相结合，复用服务器已经存在的分片校验信息，减少额外上传校验信息的时间，加快整个文件的上传过程。

【技术实现步骤摘要】

本专利技术属于网络通信领域，尤其涉及一种文件上传校验方法及系统。
技术介绍
随着云计算和互联网的快速发展，用户会产生大量的数据文件，同时也会收藏保存很多影视、软件资料等，此时需要将本地的文件上传到服务器上。目前，用户将本地的一个文件上传到服务器时，通常需要扫描本地文件，计算唯一标识，然后直接和服务器建立连接，判断文件在服务器是否存在，如果不存在将本地的文件进行分片并计算分片校验信息，单独上传每个独立分片和校验信息，可以采用多线程的方式上传文件。现有的文件上传流程如图1所示：1.浏览器（上传）通过上传逻辑服务器获取上传入口地址；2.浏览器（上传）通过扫描本地文件，对文件进行分片和计算每个分片的校验信息，采用多线程方式将每个独立分片和对应的校验信息上传到存储接口服务器；3.当存储接口服务器收到对应的分片后，同时对分片进行校验，然后与浏览器上传的分片校验信息进行比较，如果一致则写入存储服务器上，否则丢弃该数据分片，通知客户端重新上传数据分片；4.浏览器（下载）通过存储接口服务器下载网络文件，存储接口服务器在存储服务器中读取需要下载的网络文件，传递给浏览器（下载）。在上传文件时，上传及计算文件分片校验信息需要消耗本地大量的CPU计算资源，如果有很多文件同时需要计算校验信息，会使得本地计算校验信息的时间增加，文件越大，计算校验信息越多。同理，用户需要从本地上传文件到网络服务器上，为了保证文件的正确性，在上传过程中通常需要对文件进行扫扫描、分片，然后计算文件的分片校验信息，同时将文件分片和校验信息上传给服务器端，服务器端收到数据分片和校验信息后，计算校验信息后在和客户端上传的校验信息比较来确定数据的正确性。如果文件很大，本地扫描计算文件的校验信息需要很久，同时如果之前上传的文件已经删除，重新上传文件还需要再次上传校验数据。
技术实现思路
本专利技术实施例提供一种文件上传文件校验方法，旨在解决现有在上传本地文件需计算并上传文件分片校验信息，占用大量的本地CPU资源的问题。本专利技术实施例是这样实现的，一种文件上传校验方法，所述方法包括如下步骤：存储根据上传组件上传的文件分片计算出的文件分片校验信息，以及下载客户端上报的文件分片校验信息；将存储的文件分片校验信息与利用上传组件上传的文件分片计算的文件分片校验信息进行比较，验证上传组件上传的文件分片是否正确。本专利技术实施例的另一目的在于提供一种文件上传校验系统，所述系统包括：校验信息存储服务器，用于存储根据上传组件上传的文件分片计算出的文件分片校验信息，以及下载客户端上报的文件分片校验信息；以及存储接口服务器，用于将所述校验信息存储服务器存储的文件分片校验信息与从上传组件上传的文件分片计算的文件分片校验信息进行比较，验证上传组件上传的文件分片是否正确。本专利技术实施例通过将上传过程和P2SP多源下载技术相结合，复用服务器已经存在的分片校验信息，减少额外上传校验信息的时间，加快整个文件的上传过程。附图说明图1是现有技术中将本地文件上传到服务器的实现流程图；图2是本专利技术实施例提供的文件上传校验方法的实现流程图；图3是本专利技术实施例提供的文件上传校验系统的结构图；图4是本专利技术实施例提供的文件上传校验系统的业务流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例通过将上传过程和P2SP多源下载技术相结合，复用下载系统收录的文件分片校验信息，无需上传文件分片校验信息，减少上传过程的文件分片校验信息的计算量。图2示出了本专利技术实施例提供的文件上传校验方法的实现流程，详述如下：在步骤S201中，存储根据上传组件上传的文件分片计算出的文件分片校验信息，以及下载客户端上报的文件分片校验信息；作为本专利技术的实施例中，在存储上传组件上传的文件分片计算出的文件分片校验信息，以及下载客户端上报的文件分片校验信息时，首先，接收根据上传组件上传的文件分片计算出的文件分片校验信息，以及下载客户端上报的文件分片校验信息。然后，将根据上传组件上传的文件分片计算出的文件分片校验信息，以及下载客户端上报的文件分片校验信息写入数据库。P2SP技术在文件下载方面获得了广泛的应用，它将大量的数据传输转移到了客户端，同时为了保证下载数据的正确性，在服务器端保存了大量的文件分片校验信息。本专利技术实施例中，下载客户端上报的文件分片校验信息是基于P2SP下载技术所收集的文件分片校验信息，原本这些文件分片校验信息为客户端下载进行文件校验，在本专利技术实施例中为上传文件进行文件分片校验，这样就可以无需上传重复的文件分片校验信息。在步骤S202中，将存储的文件分片校验信息与利用上传组件上传的文件分片计算的文件分片校验信息进行比较，验证上传组件上传的文件分片是否正确。由于文件上传时需要对文件进行去重，判断该文件是否在服务器存在，作为本专利技术的一个优选实施例，该文件上传校验方法还包括以下步骤：1.接收上传成功的文件的唯一标识，并记录所有在云存储服务器上存储的文件的唯一标识；2.与上传组件通信，查询上传组件上传的文件的唯一标识是否存在，如果不存在，向上传组件返回需要上传文件的服务器地址。在计算文件的唯一标识时，通常需要扫描整个文件计算全文的哈希（Hash）值作为文件的唯一标识，该过程由于涉及大量的文件IO操作，对于大文件而言非常消耗时间。在本专利技术的一个实施例中，为了快速进行文件的去重，减少大文件在客户端需要的扫描时间和CPU资源的占用，大大减少用户在上传文件之前等待的时间，上传组件上传的文件的唯一标识为上传组件从部分文件内容计算的唯一标识，不扫描整个文件，只有当部分文件的唯一标识在服务器上不存在时，才计算全文的文件标识。在本专利技术的实施例中，由于服务器存在每个分片的文件校验信息，可以只通过部分分片的校验信息，例如只取头、中、尾部三个文件分片校验信息（也可以取其他的文件分片）计算得到文件的唯一标识。图3示出了本专利技术实施例提供的文件上传校验系统的结构，为了便于说明，仅示出了与本专利技术实施例相关的部分。校验信息存储服务器31存储根据上传组件35上传的文件分片计算出的文件分片校验信息，以及下载客户端37上报的文件分片校验信息。在本专利技术的实施例中，校验信息存储本文档来自技高网...

【技术保护点】
一种文件上传校验方法，其特征在于，所述方法包括下述步骤：存储根据上传组件上传的文件分片计算出的文件分片校验信息，以及下载客户端上报的文件分片校验信息；将存储的文件分片校验信息与利用上传组件上传的文件分片计算的文件分片校验信息进行比较，验证上传组件上传的文件分片是否正确。

【技术特征摘要】
1.一种文件上传校验方法，其特征在于，所述方法包括下述步骤：
存储根据上传组件上传的文件分片计算出的文件分片校验信息，以及下载
客户端上报的文件分片校验信息；
将存储的文件分片校验信息与利用上传组件上传的文件分片计算的文件分
片校验信息进行比较，验证上传组件上传的文件分片是否正确。
2.如权利要求1所述的文件上传校验方法，其特征在于，所述存储上传组
件上传的文件分片计算出的文件分片校验信息，以及下载客户端上报的文件分
片校验信息的步骤具体为：
接收根据上传组件上传的文件分片计算出的文件分片校验信息，以及下载
客户端上报的文件分片校验信息；
将所述根据上传组件上传的文件分片计算出的文件分片校验信息，以及下
载客户端上报的文件分片校验信息写入数据库。
3.如权利要求1所述的文件上传校验方法，其特征在于，所述方法还包括
下述步骤：
接收上传成功的文件的唯一标识，并记录所有在云存储服务器上存储的文
件的唯一标识；
与上传组件通信，查询上传组件上传的文件的唯一标识是否存在，如果不
存在，向上传组件返回需要上传文件的服务器地址。
4.如权利要求3所述的文件上传校验方法，其特征在于，所述上传组件上
传的文件的唯一标识为上传组件从部分文件内容计算的唯一标识。
5.如权利要求4所述的文件上传校验方法，其特征在于，当所述从文件部
分内容计算的唯一标识在服务器中不存在时，所述上传组件上传的文件的唯一
标识为上传组件从全文文件计算的唯一标识。
6.一种文件上传校验系统，其特征在于，所述系统...

【专利技术属性】
技术研发人员：刘刚，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44