数据管理方法和系统技术方案

本发明专利技术涉及用于数据管理的方法、系统和计算机程序产品。一个方面包括对于数据库创建的搜索索引。该搜索索引具有分别将数据与第一存储器或者第二存储器中的存储位置相关联的第一或者第二类型的参考值。响应于数据检索请求，使用参考值从第一或者第二存储器存取数据。如果存在正在在第一和第二存储器存储之间迁移的数据，则相应地重新计算并且改变搜索索引中的参考值。

【技术实现步骤摘要】
数据管理方法和系统
本公开一般涉及数据库搜索和存储领域；并且本公开尤其涉及通过使用缓冲器池作为存储器驻留数据的永久存储器中的存储（in-memorystorage）的混合表实施。
技术介绍
很多大型数据库主要存储在磁盘上。这些基于磁盘的数据库经常使用缓冲器来检索最近存取的数据，以提高性能。基于磁盘的数据库经常共享缓冲器空间，以优化空间并且提高系统的性能。然而，缓冲器的池化产生当发送或者接收数据时的性能瓶颈，性能瓶颈经常由磁盘输入-输出（I/O）要求引起。为了减少这种瓶颈并且避免性能问题，有时使用存储器中的数据库。在存储器中的数据库中，数据的主要位置是在物理或者永久存储器中。多数存储器中的数据库由存储器优化数据结构和存取方法来特征化。通过完全从存储器中而不是转到基于磁盘分类、存储和检索指定的数据来大大增强性能。使用存储器中的数据库允许在不需要处理提供在代码路径中的磁盘I/O瓶颈的问题的情况下，执行存取请求。然而，使用存储器中的数据库方案具有很多权衡，因为每个数据单元的存储成本对于存储器中的数据库比对于磁盘存储器方案更高。这是因为更少成本的硬盘可以替代更多的存储器。此外，用于存储器中的数据库方案的随机存取存储器（RAM）芯片不能够接近小硬盘驱动器的密度。存储器中的数据库的另一个问题是：在一些应用中，由于空间约束对于大型数据库的挖掘不能保持到存储器中的存储。一个解决方案是使用数据库的混合搜索索引，该混合搜索索引使用“d”和“m”型的数据库。
技术实现思路
实施例包括数据管理的方法、系统和计算机程序产品。在一个实施例中，创建数据库的搜索索引并且该搜索索引具有分别将数据与第一存储器或者第二存储器中的存储位置相关联的第一或者第二类型的参考值。响应于数据检索请求，使用参考值从第一或者第二存储器存取数据。如果数据在第一和第二存储器存储之间迁移，则重新计算并且改变搜索索引参考值。通过本公开的技术实现附加特征和优点。这里详细描述公开的其他实施例和方法。为了更好地理解具有该优点和特征的公开，参考描述和附图。附图说明视为本专利技术的主题被具体指出并且在说明书的结论处的权利要求中清楚地要求保护。结合附图考虑，本公开的前面和其他特征以及优点从下面的详细描述中显而易见，在附图中：图1是根据实施例的流程图示；以及图2描绘图示根据实施例的对数据的存储器存取和缓冲器的框图。具体实施方式数据库的混合搜索编索引提供灵活性。混合搜索索引数据库使用存储器中的数据库和基于磁盘的数据库。在表级进行两种类型的数据位置之间的区别。表可以表示为存储器中的表（m-表），其中该表的整个内容存储在存储器中，或者替代地，表可以是基于磁盘的（d-表），其中数据主要存储在磁盘上。使用存储器中的存储和磁盘存储二者可以实现性能和成本之间的平衡。在多数数据库中，表被建立并且用于数据检索。表是被组织为水平行和垂直列的数据元素或者值的集合，其具有在行和列交叉处的多个单元。常规地，表具有规定数量的列和任何数量的行。每个行由这样的值标识，该值出现在已经被标识为唯一键索引的特定列子集合中。为了改进数据检索操作的速度，使用数据库索引。可以使用数据库表的一个或者多个列来创建索引，以提供快速随机查找和顺序记录的有效存取二者的基础。使用单一设置中的两种不同数据库类型的二分法造成当使用混合搜索编索引时仍然造成挑战，因为这些数据库具有不同要求。一种可能的解决方案提供其中新索引层压在另一个的顶部上（独立的m-部分和d-部分索引）的方案。但是这个解决方案还可能效率低，因为当正在存取数据时其强加两个独立表的m-部分和d-部分之间的连续切换。这可能变得资源密集并且耗费时间。此外，这种索引可能具有可以证明为对于多数存储器中的可用存储过大的足迹要求。图1示出其中使用优化资源和搜索时间的混合数据库的一个实施例的流程图。如图1中所示，虽然使用两种类型的存储器（诸如在一个实施例中，磁盘存储存储器和存储器中），但是恒定切换不是必要的，因为使用参考值和缓冲器池的组合允许标识磁盘存储或者存储器中的存储中数据的存储。通过参考图2，可以更好地理解对缓冲器池和磁盘和/或存储器中的存储的存取。图2图示按照可以根据图1中的流程图使用的一个实施例的框图。在图2中，经由缓冲器220的使用优化对存储数据库的存储器存取，该缓冲器220在与存储器中或者永久存储器存储240和磁盘存储器存储230的处理通信中。在图2中所示的实施例中，存储器中或者永久存储器在经由搜索引擎210与缓冲器220的处理通信中，但是在替代实施例中，可以提供直接处理存取。应当注意，可互换使用永久、物理和存储器中的存储，以意味着相同类型的存储器存储。在一个实施例中，可以经由搜索引擎210对于两个存储器存储实现存储器存取，搜索引擎210可以使用一个或者多个处理器215实现。使用搜索引擎210的数字设备可以表示各种数字设备，诸如但不限于，移动设备、个人计算机、服务器之类，或/和可以包括显示器、打印机或者本领域技术人员可以认识到的其他组件，或者可以在另外与显示器、打印机或者本领域技术人员可以认识到的其他组件的处理通信中。在其他实施例中，缓冲器220和磁盘存储230以及存储器中的存储240可以是统一设备中的一部分，并且在需要或者不需要独立搜索引擎210的情况下（如本领域技术人员可以认识到，诸如直接通过处理器或者计算机），可以直接向它们执行存取。传统地，在物理存储器存储从一个地方移动到另一个地方的同时，缓冲器是用于临时保存数据的物理存储器存储的区域。以这样的方式，缓冲器可以保存关于从磁盘存储存取的数据的信息，但是仅仅可以以这样的方式缓冲有限量的磁盘存储数据。在图2中，缓冲器220是缓冲器池，并且在一个实施例中，可以包括缓冲器池管理器221。在以本领域技术人员可以认识到的普通方式缓冲磁盘驻留数据的同时，然后通过使用缓冲器池作为存储器驻留数据的永久存储来实现对数据库的优化存取。使得结合图1和图2讨论的优化存取能够由本领域技术人员已知的很多类型的搜索索引结构使用。这样的示例可以是树结构，以仿真具有链接的节点的集合的分层级的树。节点可以包含值或者条件，或者表示独立数据结构，或者甚至是其本身的树。树中的每个节点具有零个或者更多子节点，子节点在树中的该节点的下面。具有子节点的节点称为子节点的父节点（或者祖先节点或者上级）。节点具有至多一个父节点。内部节点（还已知为内节点或者分支节点）是具有子节点的树的任何节点。类似地，还已知为外节点、叶节点或者终端节点的外部节点是不具有子节点的任何节点。类似地，具有二叉或者B树结构的树结构还可以与结合图1和2描述的优化存取一起使用。二叉树（B-树）数据结构保持分类的数据，并且允许在对数时间中搜索、顺序存取、插入和删除。B-树通常具有不止两个子节点并且优化用于读取并且写入大数据块的系统。为了容易理解，图2的流程图实施例示出具有叶节点的树结构，但是如讨论的，其他搜索结构可以用在替代实施例中。参考回图1，当需要存取数据时，通过首先找到与该数据相关联的数据库来发起搜索。在数据库搜索索引中，在一个实施例中，这可以通过标识诸如行和相关联的键之类的索引的位置来开始。返回参考图1，在一个实施例中，然后建立搜索索引表，使得如果要在表的m-部分中找到数据行（块110），则本文档来自技高网...

【技术保护点】
一种数据管理方法，包括：创建数据库的搜索索引，所述搜索索引具有分别将数据与第一存储器或者第二存储器中的存储位置相关联的第一或者第二类型的参考值；响应于数据检索请求，使用所述参考值从所述第一或者第二存储器存取数据；基于正在在所述第一和第二存储器之间迁移的数据，重新计算并且改变所述搜索索引参考值。

【技术特征摘要】
2012.11.13 US 13/675,6341.一种数据管理方法，包括：创建数据库的搜索索引，其中，所述数据库包括在第一存储器和第二存储器中存储的数据，所述第一存储器是存储器中的存储，所述第二存储器是磁盘存储器存储，所述搜索索引具有第一类型的参考值或者第二类型的参考值，其中，所述第一类型的所述参考值是到所述存储器中的存储的页面指针，并且所述第二类型的所述参考值是所述磁盘存储器的页的页面磁盘地址；响应于数据检索请求，使用所述参考值从所述第一或者第二存储器存取数据；基于正在在所述第一和第二存储器之间迁移的数据，重新计算并且改变所述搜索索引参考值。2.如权利要求1所述的方法，还包括如果确定特定数据可以从缓冲器池存取，则使用所述第二类型的所述参考值来从所述缓冲器池存取所述特定数据。3.如权利要求2所述的方法，其中，所述搜索索引是树结构索引。4.如权利要求3所述的方法，其中，所述树具有叶节点。5.如权利要求3所述的方法，其中，根据提供的所述参考值，使用所述页面指针或者所述页面磁盘地址提供数据存取。6.如权利要求4所述的方法，其中索引所述存储器中的存储中的数据的参考值的所述叶节点是所述缓冲器中到页面的指针，并且索引所述磁盘存储器存储中的数据的参考值的所述叶节点...

【专利技术属性】
技术研发人员：J帕基南，VT拉蒂卡，JK鲁思，PU索伊尼，A沃尔斯基，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US