一种基于Hadoop的OLAP数据存储与查询方法技术

本发明专利技术公开了一种基于Hadoop的OLAP海量数据的存储与查询方法，在数据存储上，首先定义了新的列文件存储格式HCFile，然后给出了基于HCFile的数据表存储方法，在该方案中，读取一列数据只需读取若干HCFile，无需访问其它列数据，I/O效率与按行存储相比大大提高；同时，添加一列数据只需添加新的文件，极易扩展。在聚集计算上，首先创建了基于倒排结构的数据索引，然后利用MapReduce实现了OLAP的基本聚集计算，包括求和、最大/最小值和计数等，其它聚集计算可由这些基本聚集计算实现，得益于高效的数据索引，聚集计算的性能显著提升。本发明专利技术与现有技术相比，不仅有效的提高了数据存储与查询的效率，而且节省了硬件资源，降低了时间和硬件成本，同时，运用更方便灵活。

【技术实现步骤摘要】

【技术保护点】
一种基于Hadoop的OLAP海量数据的存储与查询方法，其特征在于：包括步骤如下：步骤100：定义列文件存储格式为HCFile，使用HCFile格式，按列存储数据表；步骤200：构建基于倒排结构的数据索引；步骤300：在数据查询过程中，读取步骤200中构建的数据索引，利用MapReduce实现OLAP聚集计算。

【技术特征摘要】

【专利技术属性】
技术研发人员：宋爱波，宋爱美，李龙生，
申请(专利权)人：东南大学，山东科技大学，
类型：发明
国别省市：