solrcloud

Solrcloud介绍： 　　SolrCloud(solr集群)是Solr提供的 分布式搜索方案 。 　　当你需要大规模，容错，分布式索引和检索能力时使用SolrCloud。 　　当索引量很大，搜索请求并发很高时，同样需要使用SolrCloud来满足这些需求。 　　不过当一个系统的索引数据量少的时候是没有必要使用SolrCloud的。 　　SolrCloud是基于Solr和Zookeeper的分布式搜索方案。它的主要思想是使用Zookeeper作为SolrCloud集群的配置信息中心，统一管理solrcloud的配置，比如solrconfig.xml和schema.xml。 Solrcloud特点功能： 　　 1）集中式的配置信息 　　2）自动容错 　　3）近实时搜索 　　4）查询时自动负载均衡 2. Solr 集群的系统架构 2.1. 物理结构 三个 Solr 实例（ 每个实例包括两个 Core ），组成一个 SolrCloud 。 2.2. 逻辑结构 索引集合包括两个 Shard （ shard1 和 shard2 ）， shard1 和 shard2 分别由三个 Core 组成，其中一个 Leader 两个 Replication ， Leader 是由 zookeeper 选举产生， zookeeper 控制每个 shard 上三个 Core 的索引数据一致，解决高可用问题

搭建SOLRCLOUD集群 1.下载地址 http://lucene.apache.org/solr/ 2.运行demo 参考WIKI文档： http://wiki.apache.org/solr/SolrCloud 中文文档： http://blog.csdn.net/duck_genuine/article/details/7647071 （1）加压缩包并，将solr-4.9.0\example 文件件复制一份，cp -r example example2 （2）启动一个节点 cd example java -Dbootstrap_confdir=./solr/collection1/conf -Dcollection.configName=myconf -DzkRun -DnumShards=2 -jar start.jar -DzkRun参数是启动一个嵌入式的Zookeeper服务器，它会作为solr服务器的一部分 -Dbootstrap_confdir参数是上传本地的配置文件上传到zookeeper中去，作为整个集群共用的配置文件 -DnumShards指定了集群的逻辑分组数目 （3）启动另一个节点并加入Zookeeper集群 cd example2 java -Djetty.port=7574 -DzkHost=localhost:9983 -jar start.jar

搜索引擎：Elasticsearch、Solr、Lucene ELK中的ES：Elasticsearch SolrCloud 的搭建、使用 Solr 高亮显示 Spring Data Solr 使用 Solr的安装与配置 Solr 原理、API 使用 Lucene 原理、API使用 Lucene 得分算法 1.SolrCloud(solr 云)是 Solr 提供的分布式搜索方案，当你需要大规模、容错、分布式索引和检索能力时使用 SolrCloud。 当一个系统的索引数据量少的时候是不需要使用 SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用 SolrCloud 来满足这些需求。 SolrCloud 是基于 Solr 和Zookeeper的分布式搜索方案，它的主要思想是使用 Zookeeper作为集群的配置信息中心。 它有几个特色功能： 1.集中式的配置信息 2.自动容错 3.近实时搜索 4.查询时自动负载均衡 2.SolrCloud系统架构 1.物理结构：三个 Solr 实例（ 每个实例包括两个 Core），组成一个 SolrCloud。 2.逻辑结构 索引集合包括两个 Shard（shard1 和 shard2），shard1 和 shard2 分别由三个 Core 组成， 其中一个 Leader 两个 Replication，Leader 是由

./zkcli.sh: line 13: unzip: command not found Error: Could not find or load main class org.apache.solr.cloud.ZkCLI 搭建 SolrCloud 集群 时,把 solrhome 中的配置文件上传到 zookeeper 集群。使用 zookeeper 的客户端上传 客户端命令位置： /root/solr-4.10.3/example/scripts/cloud-scripts 执行命令 ./zkcli.sh -zkhost 192.168.6.206:2181,192.168.6.206:2182,192.168.6.206:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf 时报错 解决方法： 1 、 yum install -y unzip zip 2 、 在 /root/solr-4.10.3/example 目录下执行 java -jar start.jar 命令。 Ctrl +C或另打开一个连接窗口。 3 、确保 zookeeper 集群 已经启动 再去执行命令，即可成功。 来源： CSDN 作者： MiCavan 链接：

# 搜索引擎 搜索引擎，Search Engine是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，再对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎和免费链接列表等。 一个搜索引擎由搜索器、索引器、检索器和用户接口四个部分组成： 1. **搜索器** 的功能是在互联网中漫游，发现和搜集信息。 2. **索引器**的功能是理解搜索器搜索到的信息，从中抽取出索引项，用过表示文档以及生成文档库的索引表。 3. **检索器**的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。 4. **用户接口**的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。 搜索引擎现在主要为全文索引和目录索引，垂直搜索引擎由于其在特定领域的更高的用户体验，以及更小的硬件成本，也开始逐渐兴起。 ## 分类 ### 全文搜索引擎 搜索引擎的自动信息搜集功能分两种。 一种是*定期搜索*，即每隔一段时间搜索引擎主动派出爬虫程序，对一定IP地址范围内的互联网网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。 另一种是*提交网站搜索*，即网站拥有者主动向搜索引擎提交网址

Solr及SolrCloud简介 　　　　Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。 　　　 SolrCloud是Solr4.0版本以后基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。它有以下几个特点： 集中式的配置信息管理。 自动容错。 近实时搜索。 查询时自动负载均衡。 将索引存储在HDFS上。 通过MR批量创建索引。 　　　　更多关于SolrCloud的相关介绍可参考以下链接： http://www.chepoo.com/solrcloud-introduction.html http://www.cnblogs.com/phinecos/archive/2012/02/10/2345634.html https://cwiki.apache.org/confluence/display/solr/SolrCloud 软件包准备 jdk-7u79-linux-x64.tar.gz apache-tomcat-7.0.62.tar.gz solr-5.2.1.tgz zookeeper-3.4.6.tar.gz

http://www.tuicool.com/articles/NNjAFr 概述： SolrCloud 是基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。 它有几个特色功能： 1）集中式的配置信息 2）自动容错 3）近实时搜索 4）查询时自动负载均衡 安装zookeeper 上面也说了 SolrCloud 是基于Solr和Zookeeper的分布式搜索方案，所有要部署solrCloud+tomcat+zookeeper的集群，必须先安装zookeeper 安装环境： Liux: CentOS release 6.4 JDK:1.7.0_55 因为我研究的是solr最新的版本，所以研究的是solr4.8.0然后solr4.8.0必须跑在jdk1.7以上的版本 1、zookeeper是个什么玩意？ 答：顾名思义zookeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)、pig(小猪)的管理员， Apache Hbase和 Apache Solr 的分布式集群都用到了zookeeper；Zookeeper:是一个分布式的、开源的程序协调服务，是hadoop项目下的一个子项目； 2、zookeeper伪集群安装 因为我演示的这套安装是单机版的安装，所以采用伪集群的方式进行安装，如果是真正的生成环境

Apache SolrCloud安装 SolrCloud通过ZooKeeper集群来进行协调，使一个索引进行分片，各个分片可以分布在不同的物理节点上，多个物理分片组成一个完成的索引Collection。SolrCloud自动支持Solr Replication，可以同时对分片进行复制，冗余存储。下面，我们基于Solr最新的4.9.0版本进行安装配置SolrCloud集群。 1. 安装环境 我使用的安装程序各版本如下： Solr: Apache Solr-4.9.0 Tomcat: Apache Tomcat 7 ZooKeeper: Apache ZooKeeper 3.4.5 各个目录说明： 所有的程序安装在/home目录下，你可以依照你的实际情况下修改安装目录。 ZooKeeper的数据目录在:/home/zookeeper/data solrhome设置在:/home/solrcloud/solrhome 2. 规划SolrCloud 单一SolrCloud数据集合:mycollection ZooKeeper集群:2台 SolrCloud实例:2节点 索引分片：2 复制因子：2 手动将2个索引分片(Shard)的复本(Replica)分布在2个SolrCloud节点上 三个节点： 192.168.56.121 192.168.56.122 192.168.56.123 3.