HBase二级索引实现方案VIP专享

HBase 二级 索 引 实 现 方 案 ——ODP 说明：本方案主要参照了华为公布的HBase 二级索引实现方案。 1. 概要设计 主要思路：为每个 DataTable 创建一个与之对应的IndexTable，通过各种途径，保证IndexTable Region 与 DataTable Region 一一对应，并且存储在同一个 RegionServer 上，存储结构如图 1 所示。最终要实现的效果是，每个 IndexTable Region 是对应的DataTable Region 的局部索引，使用索引进行查询时，将对每个 IndexTable Region 进行检索，找出所有符合条件的DataTable RowKey，再根据 DataTable RowKey 到对应的DataTable Region 中读取相应DataTable Row。 图 1 HBase 二级索引存储结构示意图 2. 详细设计 2.1. IndexTable 的创建 IndexTable 的创建主要出现在两个时机，一是创建新 DataTable 时，系统根据索引定义，自动创建对应的IndexTable；二是对已存在的DataTable，用户调用接口方法，动态创建索引。 IndexTable 的创建过程如下： 第一步，获取DataTable 的所有RegionInfo，得到所有DataTable Region 的StartKey。 第二步，结合索引定义和DataTable Region 的StartKey 信息，调用HBaseAdmin 的createTable(final HTableDescriptor desc, byte [][] splitKeys)方法创建索引表。 通过以上两步便建立了IndexTable Region 和DataTable Region 的以StartKey 为依据的一一对应关系。 2.2. IndexTable RowKey 的 设 计 IndexTable 的RowKey 由四部分组成，按顺序依次是：DataTable Region StartKey、IndexName、IndexValue 和DataTable RowKey，如图 2 所示。 图 2 IndexTable RowKey 结构示意图 A. DataTable Region StartKey。将 DataTable Region 的StartKey 作为IndexTable Region的RowKey 的第一部分，主要基于两个方面的考虑。一是使得IndexTable Region 和对应的DataTable Region 拥有相同的StartKey，这样便可将 StartKey 作为两个 Region的关联依据；二是当 DataTable Region 分裂时，可使用相同的SplitKey 对IndexTable Region 进行相应的分裂操作，并将新产生的DataTable Region 和IndexTable Region建立关联关系。 B. IndexName。在一张 DataTable 的基础上可以定义多个索引，如果为每个索引创建一个 IndexTable，则在实际应用过程中，势必会产生大量的IndexTable，当 DataTable Regi...