solrcloud

We are facing one peculiar issue with Zoo Keeper wherein the ZK loses connectivity with solr cloud all of a sudden and starts throwing an Exception which says "Cannot talk to ZooKeeper - Updates are disabled." Our application has 2 solr clusters setup separately on 2 different data centers. Each of these clusters has the same configurations and data and is expected to take the same incremental load. Application users need the changes made by them to reflect in the search with almost immediate effect and hence we run the incremental load every 10 seconds. Having said that the data updates

SolrCloud介绍 在我们应用还很渺小的时候，一台Solr服务器能完全胜任这份工作，随着我们应用慢慢长大，访问也越来越多，一台Solr服务器的弊病也逐渐显现如查询变慢了，机器宕机就无法继续提供服务，于是乎我们引入了Solr集群，通过前端负载均衡和索引Replication来分担一台机器的压力，这样既能提高查询速度，也能避免单机故障问题而且是可伸缩的解决方案，一切看起来很OK，问题也暂时解决了，但是好景不长，随着应用的发展，数据也在与日俱增，需要索引的数据也越来越多，索引文件变得越来越庞大，Replication索引变得越来越低效高成本，每个Solr实例都保存全量大索引数据的方式显然又成了系统性能和可伸缩性的瓶颈，如果能将大索引文件切分，分布在集群中不同机器中且查询的准确性和可用性又不会受到影响该是件多么美好的事情啊，于是SolrCloud出现了... SolrCloud是基于ZooKeeper和Solr的分布式解决方案，为Solr添加分布式功能，用于建立高可用，高伸缩，自动容错，分布式索引，分布式查询的Solr服务器集群；SolrCloud并非一个新的软件发布包，而是Solr4.0版本新增组件用于跟ZooKeeper配合提供分布式功能，部署时只是修改启动配置； SolrCloud安装 SolrCloud是一个分布式解决方案，安装之前需要我们评估自己应用的数据规模

0 [main] INFO org.eclipse.jetty.server.Server – jetty-8.1.10.v20130312 30 [main] INFO org.eclipse.jetty.deploy.providers.ScanningAppProvider – Deployment monitor /home/zcwangjb/programs/solr-4.8.0/solrcloud/node1/contexts at interval 0 38 [main] INFO org.eclipse.jetty.deploy.DeploymentManager – Deployable added: /home/zcwangjb/programs/solr-4.8.0/solrcloud/node1/contexts/solr-jetty-context.xml 1422 [main] INFO org.eclipse.jetty.webapp.StandardDescriptorProcessor – NO JSP Support for /solr, did not find org.apache.jasper.servlet.JspServlet 1500 [main] INFO org.apache.solr.servlet

搭建SolrCloud集群 把solrhome中的配置文件上传到zookeeper集群。使用zookeeper的客户端上传。 客户端命令位置：/root/solr-4.10.3/example/scripts/cloud-scripts 执行命令 ./zkcli.sh -zkhost 192.168.40.138:2181,192.168.40.138:2182,192.168.40.138:2183 -cmd upconfig -confdir /usr/local/solrcloud/solrhome1/collection1/conf -confname myconf 时报错。 解决办法： Easy fix: cd solr-4.8.0/example, java -jar start.jar, (let it start up), Control-C. You'll now have files under solr-4.8.0-bin/example/solr-webapp/webapp including the missing jars in solr-4.8.0-bin/example/solr-webapp/webapp/WEB-INF/lib – Mark Bennett 上述解决办法来自 http://stackoverflow.com/questions

【./zkcli.sh:line 13: unzip: command not found Error: Could not find or load main class org.apache.solr.cloud.ZkCLI 搭建SolrCloud集群 时,把solrhome中的配置文件上传到zookeeper集群。使用zookeeper的客户端上传。 客户端命令位置：/root/solr-4.10.3/example/scripts/cloud-scripts执行命令 ./zkcli.sh -zkhost 192.168.10.33:2181,192.168.10.33:2182,192.168.10.33:2183 -cmd upconfig -confdir /usr/local/solrcloud/solrhome1/collection1/conf -confname myconf 时报错： ./zkcli.sh:line 13: unzip: command not found Error: Could not find or load main class org.apache.solr.cloud.ZkCLI 解决方法： 1、 yum install -y unzip zip 2、在/root/solr-4.10.3/example目录下执行 java -jar

搭建SolrCloud集群 报错解决方案 1、把solrhome中的配置文件上传到zookeeper集群。 //1、进入cloud-scripts目录下 cd /root/solr - 4.10 .3 /example/scripts/cloud -scripts //2、执行zkcli.sh命令，将配置文件上传到zookeeper集群中 . /zkcli . sh -zkhost 192.168 .40 .138 : 2181 , 192.168 .40 .138 : 2182 , 192.168 .40 .138 : 2183 -cmd upconfig -confdir /usr/ local /solrcloud/solrhome1/collection1/conf -confname myconf 2、执行第2步的时候如下报错 3、解决方案 1 、在/root/solr/example目录下执行 java -jar start . jar 命令 2 、ctrl c 结束。或者是打开另一个窗口。 3 、在/root/solr - 4.10 .3 /example/scripts/cloud -scripts 重新执行命令 . /zkcli . sh -zkhost 192.168 .40 .138 : 2181 , 192.168 .40 .138 : 2182 , 192

/xml配置文件/其他配置/linux集群配置/solrCloud配置/solrCloud配置.txt ip和端口可能有误，自行修改 1、把配置好的solrHome(包含仓库core信息等)和包含solr项目的tomcat复制粘贴到linux， 修改tomcat里solr的web.xml第43行的位置成solrHome的地址(collection1等core所在的目录). 2、修改每个tomcat/bin/catalina.sh,把此配置替换第234行(java_opts所在的行)： JAVA_OPTS="-DzkHost=192.168.25.140:2181,192.168.25.140:2182,192.168.25.140:2183" 这3个地址就是zookeeper的3个注册地址,是用来设置JVM相关运行参数的变量. 此配置作用是在tomcat启动时找到zookeeper集群。 注意原来234行的内容是： #JAVA_OPTS="$JAVA_OPTS -Dorg.apache.catalina.security.SecurityListener.UMASK=`umask`" 要把这一整行替换掉，且不能带上中文符号(空格等)，不然报错未预期的符号 `(' 附近有语法错误 3、配置solrCloud相关的配置。每个 solrhome 下都有一个 solr.xml，把其中的

搭建SolrCloud集群 报错解决方案 1、把solrhome中的配置文件上传到zookeeper集群。 //1、进入cloud-scripts目录下 (以下IP为示例，请根据自己实际配置填写) cd /root/solr-4.10.3/example/scripts/cloud-scripts //2、执行zkcli.sh命令，将配置文件上传到zookeeper集群中 ./zkcli.sh -zkhost 192.168.40.138:2181,192.168.40.138:2182,192.168.40.138:2183 -cmd upconfig -confdir /usr/local/solrcloud/solrhome1/collection1/conf -confname myconf 2、执行第2步的时候如下报错 3、解决方案 (请按如下步骤操作) 第一步：在/root/solr/example目录下执行 java -jar start.jar 命令 第二步：ctrl+c 结束。或者是打开一个新窗口。 第三步：在/root/solr-4.10.3/example/scripts/cloud-scripts重新执行命令 ./zkcli.sh -zkhost 192.168.40.138:2181,192.168.40.138:2182,192.168.40.138

I want to clarify my understanding about different type of Solr commits. Please correct me if I am wrong. commits : all type of commits including SOFT and HARD commits. autoCommit : does a HARD commit to the disk and make sure all the autoSoftCommit commits are written to disk and commits any other pending documents. autoSoftCommit - does a SOFT commit . After a autoSoftCommit, if the the SOLR server goes down, the autoSoftCommit documents will be lost. autocommit maxTime : Maximum time between two autocommits execution (in my case it is set as 15000s ) soft autocommit maxTime :Maximum