Katta

《 ZooKeeper : Wait-free coordination for Internet-scale systems 》论文研读

情到浓时终转凉″ 提交于 2020-08-06 10:14:29
Zookeeper 研读 说明 :本文为论文 《 ZooKeeper : Wait-free coordination for Internet-scale systems 》 的个人理解,难免有理解不到位之处,欢迎交流与指正 。 论文地址 : Zookeeper Paper 1. Zookeeper 介绍 Zookeeper 是用来协调分布式应用的服务框架,它是一个通过冗余容灾的服务器集群,提供 API 给 client ,用以实现一些 原语 ( 如配置管理、成员管理、领导人选举、分布式锁等 ),在这些原语的基础上可以实现一些分布式应用程序( 如 GFS 、 MapReduce 、 VM-FT 的 test-and-set server 以及雅虎的 Fetching Service 、 Katta 、 YMB 等 )。 1.1 Zookeeper 服务实现 Zookeeper 通过在集群中每台服务器上复制 Zookeeper 数据来提供高可用性 。集群由一个 leader 和 多个 follower 组成 , leader 负责进行投票的发起和决议、更新系统状态, follower 在选举 leader 的过程中参与投票。 每个服务器都可以连接客户端,客户端连接到一个服务器,建立 Session 。 Zookeeper 使用 timeout 来检测 session 是否还在,如果

Solr/Lucene分布式搜索,Solr Integrate katta step4

本秂侑毒 提交于 2019-12-05 13:23:02
做好了上面几个步骤.我们可以加入测试,测试代码: package net.dkatta; import java.util.Iterator; import java.util.Map; import net.sf.katta.client.ClientResult; import net.sf.katta.util.KattaException; import net.sf.katta.util.ZkConfiguration; import org.apache.solr.client.solrj.SolrQuery; import org.apache.solr.client.solrj.SolrResponse; import org.apache.solr.client.solrj.response.QueryResponse; import org.apache.solr.common.SolrDocument; import org.apache.solr.common.SolrDocumentList; import org.apache.solr.common.params.CommonParams; import org.apache.solr.common.util.NamedList; import org.apache.solr.katta

Solr/Lucene分布式搜索,Solr Integrate katta step3

自闭症网瘾萝莉.ら 提交于 2019-12-04 16:26:46
前面的两篇介绍了安装katta及ZooKeeper,后边来介绍katta的Node. 我们回到step1 后边提到的solr-katta-plugin项目,源码导入后会出现很多的错误,在项目中继承了solr-core,和solrj中的类尝试着把访问修饰private改为protected. 如:solr-core org.apache.solr.handler.component.SearchHandler类中的shardHandlerFactory成员变量 protected ShardHandlerFactory shardHandlerFactory = new HttpShardHandlerFactory(); 同时借鉴 https://issues.apache.org/jira/browse/SOLR-1395 Tomliu的做法,把 the bugs is : 1. solr's ShardDoc.java, ShardFieldSortedHitQueue line 210 : final float f1 = e1.score == null ? 0.00f : e1.score; final float f2 = e2.score == null ? 0.00f : e2.score; 等等.直到项目基本错误解决. 下载solr并且copy其中的apache

Solr/Lucene分布式搜索,Solr Integrate katta step1

情到浓时终转凉″ 提交于 2019-12-03 13:03:16
katta项目主页: http://katta.sourceforge.net/ Katta的介绍: http://blog.sina.com.cn/s/blog_43b8e6dd0100ne4b.html 关于Solr整合Katta的讨论 https://issues.apache.org/jira/browse/SOLR-1395 1.下载 katta: http://sourceforge.net/projects/katta/files/katta/ solr: http://lucene.apache.org/solr/ 在上面的讨论中似乎是使用的Lucene4.0,Katta0.6.2 我直接使用 katta:0.6.3 solr:3.6.1 2.分布式搜索是一个好的解决方案,自己动手开发是有很大难度的.我相信使用Lucene的人很多,并且也很多是直接使用Solr的.能把Lucene的索引文件放到Hadoop HDFS文件系统上我想是一个终极解决方案,但是最终要的是能做索引分片,并且能提供分布式搜索.Lucene的创始人 Doug Cutting 也是建议katta这个解决方案的.见: http://wiki.apache.org/hadoop/DistributedLucene 因为涉及的技术比较多,而且技术门槛也较高,鲜有人整合成功.其中涉及的技术包括:Lucene