solrcloud

SolrCloud ZooKeeper Configuration updates

你。 提交于 2019-12-04 03:10:16
How do I update an existing configuration file of SolrCloud in the Zoo Keeper? I am using Solr4 Beta version with ZooKeeper 3.3.6. I have updated a configuration file, and restarted the Solr Instance which uploads the configuration file to the ZooKeeper. But when I check the configuration file from the SolrCloud Admin console, I don't see the updates. I am not able to understand if this is an issue with SolrCloud admin console or if I am not successful in uploading the config file to ZooKeeper. Can someone who is familiar with ZooKeeper tell me on how to update an existing configuration file

SolrCloud Wiki翻译(5)读写容错性

痴心易碎 提交于 2019-12-04 00:44:11
Read Side Fault Tolerance “读”容错 With earlier versions of Solr, you had to set up your own load balancer. Now each individual node load balances requests across the replicas in a cluster. You still need a load balancer on the 'outside' that talks to the cluster, or you need a smart client. (Solr provides a smart Java Solrj client called CloudSolrServer.) 在旧版本的Solr中,你必须自己实现一个负载均衡器,然而现在在集群中的每个节点都可以把请求自动的负载均衡到所有的replica节点上去。但是对于整个集群来说,你仍然需要一个外部的负载均衡器,或者是一个智能客户端(Solr已经在Java的 客户端 Solrj中提供了一个CloudSolrServer的智能客户端) A smart client understands how to read and interact with ZooKeeper and only requests

solrcloud没有集群leader的问题

本秂侑毒 提交于 2019-12-04 00:43:56
1、问题描述 第一步:在拥有3个节点的集群中,创建一个2个片,每个片2个replication的collection 这时候,集群的leader为32机器(32机器的id值最小) 第二步:在该collection上做dataimport,每秒1万条记录的导入速度(commit)。 第三步:restart 32机器 问题现象:发现集群没有leader,zk上无 /overseer_elect/leader node 集群出现异常,无法写入数据,虽然collection显示正常 2、问题分析 按照solrcloud集群选举理论,在32机器重启后,32机器的id值变成最大,而30机器的id此时是最小值,那么30机器成为集群leader 此时30机器,没有成为leader 通过查看30机器的日志及solrcloud选举的源码 源码中,有个选举类LeaderElector,里面有个checkIfIamLeader方法,此方法就是“试图选举自己成为leader” 该方法是先判断实际是否可以成为leader,如果可以,先删除原有的leader node,然后创建自己成为leader的node 通过查看30的info日志发现,只执行了delete 原有leader node的操作,而没有创建“自己成为leader”的操作 3、解决办法 重启编号最小的那台机器,触发集群重选leader 来源:

SolrCloud Wiki翻译(2)Nodes,Cores,Clusters & Leaders

生来就可爱ヽ(ⅴ<●) 提交于 2019-12-04 00:43:29
Nodes and Cores Node和Core In SolrCloud, a node is Java Virtual Machine instance running Solr, commonly called a server. Each Solr core can also be considered a node. Any node can contain both an instance of Solr and various kinds of data. 在SolrCloud里面,一个 node 代表运行一个Solr应用的JVM进程,一般叫做一个server。每一个Solr core也可以认为是一个node。一个node可以包含一个Solr的运行实例和各种各样的索引数据。 A Solr core is basically an index of the text and fields found in documents. A single Solr instance can contain multiple "cores", which are separate from each other based on local criteria. It might be that they are going to provide different search

SolrCloud Wiki翻译(1) Getting Started with SolrCloud

ε祈祈猫儿з 提交于 2019-12-04 00:43:18
SolrCloud是被设计用来提供一个高可用性、可容错的环境用来索引您的数据再进行搜索。在SolrCloud里面,数据都被组织成多个“块”或者叫做“shards”(分片),使数据能够存放在多台物理机器上,并且使用replicas(复制块)提供的冗余来实现可伸缩性和容错性,该系统使用一个Zookeeper服务来帮助管理整个集群结构保证了所有的索引和搜索请求能够正确的被路由到不同的节点。 This section explains SolrCloud and its inner workings in detail, but before you dive in, it's best to have an idea of what it is you're trying to accomplish. This page provides a simple tutorial that explains how SolrCloud works on a practical level, and how to take advantage of its capabilities. We'll use simple examples of configuring SolrCloud on a single machine, which is obviously not a real

SolrCloud Wiki翻译(4)Distributed Requests

蹲街弑〆低调 提交于 2019-12-04 00:42:58
One of the advantages of using SolrCloud is the ability to distribute requests among various shards that may or may not contain the data that you're looking for. You have the option of searching over all of your data or just parts of it. 使用SolrCloud的 一个 优势是,SolrCloud能够把你的请求分发到多个shard上面,当然每个shard上面有可能包含也有可能不包含你需要查询的数据。你可以选择在全部数据上进行搜索或者是在一部分数据上搜索。 Querying all shards for a collection should look familiar; it's as though SolrCloud didn't even come into play: 查询一个collection所有shard的url看起来相当眼熟;好像SolrCloud根本没有参与到搜索过程中来一样: http://localhost:8983/solr/collection1/select?q=*:* If, on the other hand, you

Solr AutoScaling - Add replicas on new nodes

吃可爱长大的小学妹 提交于 2019-12-03 08:04:11
Using Solr version 7.3.1 Starting with 3 nodes: I have created a collection like this: wget "localhost:8983/solr/admin/collections?action=CREATE&autoAddReplicas=true&collection.configName=my_col_config&maxShardsPerNode=1&name=my_col&numShards=1&replicationFactor=3&router.name=compositeId&wt=json" -O /dev/null In this way I have a replica on each node. GOAL: Each shard should add a replica to new nodes joining the cluster. When a node are shoot down. It should just go away. Only one replica for each shard on each node. I know that it should be possible with the new AutoScalling API but I am

Error when start Solr cloud, due to location of 3rd party libraries

柔情痞子 提交于 2019-12-03 03:48:35
I tried to migrate to Solr 3.1 , my project uses Dataimport handler , when I started solr it asked me SolrCoreAwar not found I copied the following file to lib directory apache-solr-dataimporthandler-3.1-SNAPSHOT.jar but again an error appeared when stating solr I need to fix this problem , if you can help Thank You The next message is the exception I get When Starting Solr 3.1 java.lang.NoClassDefFoundError: Could not initialize class org.slf4j.LoggerFactory at org.apache.solr.handler.dataimport.DataImportHandler.<clinit>(DataImportHandler.java:72) at java.lang.Class.forName0(Native Method)

分布式全文检索系统SolrCloud简介

十年热恋 提交于 2019-12-03 01:21:29
前言 本文简单描述SolrCloud的特性,基本结构和入门,基于Solr4.5版本。 Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库。Solr是以Lucene为基础实现的文本检索应用服务。 SolrCloud是Solr4.0版本开发出的具有开创意义的基于Solr和Zookeeper的分布式搜索方案,或者可以说,SolrCloud是Solr的一种部署方式。Solr可以以多种方式部署,例如单机方式,多机Master-Slaver方式,这些方式部署的Solr不具有SolrCloud的特色功能。 特色 SolrCloud有几个特色功能: 集中式的配置信息 使用ZK进行集中配置。启动时可以指定把Solr的相关配置文件上传Zookeeper,多机器共用。这些ZK中的配置不会再拿到本地缓存,Solr直接读取ZK中的配置信息。配置文件的变动,所有机器都可以感知到。 另外,Solr的一些任务也是通过ZK作为媒介发布的。目的是为了容错。接收到任务,但在执行任务时崩溃的机器,在重启后,或者集群选出候选者时,可以再次执行这个未完成的任务。 自动容错 SolrCloud对索引分片,并对每个分片创建多个Replication。每个Replication都可以对外提供服务。一个Replication挂掉不会影响索引服务。 更强大的是

SolrCloud的搭建(CentOS 7)

匿名 (未验证) 提交于 2019-12-03 00:13:02
注意ip地址为: 虚拟机ip设置 TYPE="Ethernet" BOOTPROTO="static" NAME="enp0s3" DEVICE="enp0s3" ONBOOT="yes" IPADDR="172.18.25.173" NETMASK="255.255.255.0" GATEWAY="172.18.25.1" DNS1=4.4.4.4 DNS2=8.8.8.8 IPV6INIT=no 一、SolrCloud简介 SolrCloud(solr 云)是 Solr 提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。 当一个系统的索引数据量少的时候是不需要使用SolrCloud 的,当索引量很大,搜索请求并发很高,这时需要使用 SolrCloud 来满足这些需求。 SolrCloud 是基于 Solr 和 Zookeeper 的分布式搜索方案,它的主要思想是使用 Zookeeper 作为集群的配置信息中心。 它有几个特色功能: 1)集中式的配置信息 2)自动容错 3)近实时搜索 4)查询时自动负载均衡 SolrCloud很吃硬件,一个最小的SolrCloud需要7台主机。 二、SolrCloud环境配置 1、zookeeper集群 来源:博客园 作者: soldier_cnblogs 链接:https://www.cnblogs