基于solr实现hbase的二级索引
基于solr实现hbase的二级索引 [X] 目的: 由于hbase基于行健有序存储，在查询时使用行健十分高效，然后想要实现关系型数据库那样可以随意组合的 多条件查询 、 查询总记录数 、 分页 等就比较麻烦了。想要实现这样的功能,我们可以采用两种方法: 使用hbase提供的filter, 自己实现二级索引,通过二级索引 查询多符合条件的行健,然后再查询hbase. 第一种方法不多说了,使用起来很方便,但是局限性也很大,hbase的filter是直接扫记录的,如果数据范围很大,会导致查询速度很慢. 所以如果能先使 用行健把记录缩小到一个较小范围,那么就比较适合,否则就不适用了.此外该方法不能解决获取总数的为. 第二种是适用范围就比较广泛了,不过根据实现二级索引的方式解决的问题也不同.这里我们选择solr主要是因为solr可以很轻松实现各种查询(本来就是全文检索引擎). [X] 实现思路: 其实hbase结合solr实现方法还是比较简单的,重点在于一些实现细节上. 将hbase记录写入solr的关键就在于hbase提供的 Coprocessor , Coprocessor 提供了两个实现: endpoint 和 observer , endpoint 相当于关系型数据库的存储过程,而observer则相当于 触 发器.说到这相信大家应该就明白了,我们要利用的就是 observer .