基于HBase的互联网手机云相册备份查询方法及系统技术方案

本发明专利技术公开了一种基于HBase的互联网手机云相册备份查询方法，包括如下具体操作步骤：S1：用户上传照片,生成文件MD5值；S2：检索照片，并用户终端输出已经按时间排好序的图片数据；S3：删除照片。本发明专利技术中Hbase本身是一套分布式集群系统，海量数据可以分布到各个不同的节点，实现协同工作，达到加大吞吐量效果，通过Hbase rowKey的设计，省略了全表扫描的问题，解决传统海量数据查询慢的事实，加大了系统的吞吐量，提高了响应速度。

Internet phone cloud album backup query method and system based on HBase

The invention discloses an Internet mobile phone cloud photo album backup and query method based on HBase, including the following specific operation steps: S1: users upload photos to generate file MD5 value; S2: retrieve photos, and the user terminal output the image data which has been arranged in time order; S3: delete photos. Hbase itself is a distributed cluster system. Massive data can be distributed to different nodes to achieve cooperative work and increase throughput. By designing Hbase rowKey, the problem of full table scanning is omitted, the fact that traditional mass data query is slow is solved, and the throughput of the system is increased. The response speed is improved.

【技术实现步骤摘要】
基于HBase的互联网手机云相册备份查询方法及系统
本专利技术属于太阳能电池装置
，具体涉及一种基于HBase的互联网手机云相册备份查询方法，同时，本专利技术还公开了一种基于HBase的互联网手机云相册备份查询系统。
技术介绍
在互联网手机时代，手机联网已经是常态，手机拍照的频率相当高，统计发现一年下来手机拍照少则100张左右，多则上达10000以上。然而，手机用户常常觉得自己拍的照片放在本地手机存储不安全，可能有丢失、误删的危险。那么，云端存储照片的需求就孕育而生，也是必须的。在现实生活中，用户照片资源的数量是海量的，更无法统计的，尤其是有的用户会保存好几年的相片。加大了云端对海量照片的存储、检索查询的难度，造成了相当大空间浪费。我们假设一个云端平台有100万用户(大的平台不仅仅这些)，每个用户一年需要备份暂时有2000张照片到云端，每个人保存3年，那么整个云端平台记录总数为1000000*2000*3条，即60亿条，使用传统的关系型数据库已经无法应付，特别对于关系型数据库的检索、排序。当今数据的存储主要用到关系型数据库。应对海量数据，只能进行分表分库存储，然后再处理端要加一层额外的处理哪个用户对应哪个库，哪个表进行存储、查询。以上技术实现缺点有：1.加大了处理端的开发复杂度；2.极大的浪费数据库服务器资源；3.拓展性不好；4.查询响应速度不够快。基于此，现提供基于HBase的方法，以解决上述海量互联网云相册备份查询的问题
技术实现思路
本专利技术的目的在于提供一种基于HBase的互联网手机云相册备份查询方法及系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于HBase的互联网手机云相册备份查询方法，包括如下具体操作步骤：S1：用户上传照片，用户输入用户ID、登录名、登录密码后从用户终端登录应用APP，向云端请求处理系统发出操作请求，选择需要上传的照片文件，选择确定后开始上传，云端处理接收照片，生成文件MD5值，保存到hadoop目录，最后生成rowKey＝用户ID_(Long.Max_Value-当前时间long)_文件MD5；值column列族cf:path存着Hadoop目录路径；S2：检索照片，用户终端完成登录后，输入查询开始时间和结束时间，使用Hbasescan通过setStartRow与setEndRow来限定范围,再加上时间戳反转通过云端请求处理系统计算得到：StartRow＝用户ID_(Long.Max_Value-开始时间的时间戳)EndRow＝用户ID_(Long.Max_Value-结束时间的时间戳)检索结束后，向用户终端输出已经按时间排好序的图片数据；S3：删除照片，用户终端完成登录后，选择需要删除的图片，则用户终端会上报要删除的Rowkey,该RowKey会在用户获取云端相片的时候下发到用户终端，云端请求处理系统接收到删除请求，检验权限并通过后，使用Hbaseclient完成删除。同时，本专利技术还公开了一种基于HBase的互联网手机云相册备份查询系统，包括：用户终端，所述用户终端内安装有应用APP服务，用于维护用户终端的图片上传、下载请求和删除操作；云端请求处理系统，所述云端请求处理系统用于对用户的身份进行验证识别并接收用户终端发出的请求以及做出对应的数据反馈并发送至用户终端的应用APP服务内；Hbase集群，用于存储用户照片信息路径；Hadoop分布式文件系统，用于存储用户照片文件。优选的，所述云端请求处理系统的前端配置有负载均衡服务器，用于运行多个云端请求处理系统，手机端的请求通过负责均衡平均分布，将云端请求处理程序和HBase集群以及Hadoop分布式文件系统放在同一个网络内，相互可以访问，保持互通。优选的，所述Hbase集群中还存储有文件的具体位置相对信息、文件大小、地理位置信息。优选的，所述Hbase集群采用RowKey索引方式，HbaseRowkey的二进制序由小到大进行存放，Hbase读取数据的scan可以通过setStartRow与setEndRow来限定范围，范围越小，性能越高，RowKey＝用户ID_时间long_文件MD5值，由于拉取数据要按时间排序，为将数据按时间倒序排序存放，可以将时间戳反转，用Long.Max_Value-timestamp追加到Key的末尾，这是用户ID末尾，最终RowKey＝用户ID_(Long.Max_Value-时间long)_文件MD5值。优选的，所述用户终端包括手机和平板电脑，用于存储和上传照片，并通过3G/4G通讯、WIFI通讯与云端请求处理系统通讯连接。本专利技术的技术效果和优点：1、Hbase本身是一套分布式集群系统，海量数据可以分布到各个不同的节点，实现协同工作，达到加大吞吐量效果。2、通过HbaserowKey的设计，省略了全表扫描的问题，解决传统海量数据查询慢的事实，加大了系统的吞吐量，提高了响应速度。附图说明图1为本专利技术一种基于HBase的互联网手机云相册备份查询系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。一种基于HBase的互联网手机云相册备份查询方法，包括如下具体操作步骤：S1：用户上传照片，用户输入用户ID、登录名、登录密码后从用户终端登录应用APP，向云端请求处理系统发出操作请求，选择需要上传的照片文件，选择确定后开始上传，云端处理接收照片，生成文件MD5值，保存到hadoop目录，最后生成rowKey＝用户ID_(Long.Max_Value-当前时间long)_文件MD5；值column列族cf:path存着Hadoop目录路径；S2：检索照片，用户终端完成登录后，输入查询开始时间和结束时间，使用Hbasescan通过setStartRow与setEndRow来限定范围,再加上时间戳反转通过云端请求处理系统计算得到：StartRow＝用户ID_(Long.Max_Value-开始时间的时间戳)EndRow＝用户ID_(Long.Max_Value-结束时间的时间戳)检索结束后，向用户终端输出已经按时间排好序的图片数据；S3：删除照片，用户终端完成登录后，选择需要删除的图片，则用户终端会上报要删除的Rowkey,该RowKey会在用户获取云端相片的时候下发到用户终端，云端请求处理系统接收到删除请求，检验权限并通过后，使用Hbaseclient完成删除。如图1所示，本专利技术还公开了一种基于HBase的互联网手机云相册备份查询系统，包括：用户终端，所述用户终端内安装有应用APP服务，用于维护用户终端的图片上传、下载请求和删除操作，用户终端包括手机和平板电脑，用于存储和上传照片，并通过3G/4G通讯、WIFI通讯与云端请求处理系统通讯连接；云端请求处理系统，所述云端请求处理系统用于对用户的身份进行验证识别并接收用户终端发出的请求以及做出对应的数据反馈并发送至用户终端的应用APP服务内，所述云端请求处理系统的前端配置有负载均衡服务本文档来自技高网...

【技术保护点】
1.一种基于HBase的互联网手机云相册备份查询方法，其特征在于：包括如下具体操作步骤：S1：用户上传照片，用户输入用户ID、登录名、登录密码后从用户终端登录应用APP，向云端请求处理系统发出操作请求，选择需要上传的照片文件，选择确定后开始上传，云端处理接收照片，生成文件MD5值，保存到Hadoop目录，最后生成rowKey＝用户ID_(Long.Max_Value‑当前时间long)_文件MD5；值column列族cf:path存着Hadoop目录路径；S2：检索照片，用户终端完成登录后，输入查询开始时间和结束时间，使用Hbase scan通过setStartRow与setEndRow来限定范围,再加上时间戳反转通过云端请求处理系统计算得到：StartRow＝用户ID_(Long.Max_Value‑开始时间的时间戳)EndRow＝用户ID_(Long.Max_Value‑结束时间的时间戳)检索结束后，向用户终端输出已经按时间排好序的图片数据；S3：删除照片，用户终端完成登录后，选择需要删除的图片，则用户终端会上报要删除的Rowkey,该RowKey会在用户获取云端相片的时候下发到用户终端，云端请求处理系统接收到删除请求，检验权限并通过后，使用Hbaseclient完成删除。...

【技术特征摘要】
1.一种基于HBase的互联网手机云相册备份查询方法，其特征在于：包括如下具体操作步骤：S1：用户上传照片，用户输入用户ID、登录名、登录密码后从用户终端登录应用APP，向云端请求处理系统发出操作请求，选择需要上传的照片文件，选择确定后开始上传，云端处理接收照片，生成文件MD5值，保存到Hadoop目录，最后生成rowKey＝用户ID_(Long.Max_Value-当前时间long)_文件MD5；值column列族cf:path存着Hadoop目录路径；S2：检索照片，用户终端完成登录后，输入查询开始时间和结束时间，使用Hbasescan通过setStartRow与setEndRow来限定范围,再加上时间戳反转通过云端请求处理系统计算得到：StartRow＝用户ID_(Long.Max_Value-开始时间的时间戳)EndRow＝用户ID_(Long.Max_Value-结束时间的时间戳)检索结束后，向用户终端输出已经按时间排好序的图片数据；S3：删除照片，用户终端完成登录后，选择需要删除的图片，则用户终端会上报要删除的Rowkey,该RowKey会在用户获取云端相片的时候下发到用户终端，云端请求处理系统接收到删除请求，检验权限并通过后，使用Hbaseclient完成删除。2.一种根据权利要求1所述的基于HBase的互联网手机云相册备份查询系统，其特征在于，包括：用户终端，所述用户终端内安装有应用APP服务，用于维护用户终端的图片上传、下载请求和删除操作；云端请求处理系统，所述云端请求处理系统用于对用户的身份进行验证识别并接收用户终端发出的请求以及做出对应的数据反...

【专利技术属性】
技术研发人员：鹿鹏，龙刚，林宋伟，刘湘，魏国，
申请(专利权)人：深圳市保千里电子有限公司，
类型：发明
国别省市：广东,44