solrcloud

How can I sort solr result bases on dynamic fields

牧云@^-^@ 提交于 2019-12-01 14:42:26
Thanks for giving your time. I need to sort result on the basis of dynamic field. How can I do that ? when I am sorting on minimum value of some of those dynamic attribute. It's not giving correct result because my query is like &sort=min(A_160018,A_chandigarh1) Some of document having both field A_160018 and A_chandigarh1 while some document having no field and some having one either A_160018 or A_chandigarh1 for some result doc . could you help me , How can I sort for this type of dynamic field. If you do not know if the field exist, you can set a default value in case it does not exists.

solrcloud document路由

浪尽此生 提交于 2019-12-01 12:58:37
solrcloud的官方文档有对路由的 简短介绍 ,但是不够详细和深入。solrcloud有两种路由策略,一种是implicit(个人称之为手动路由) ,一种是compositeId(个人称之为自动路由);在创建collection的时候,如果没有指定路由方式,指定了numShards个数,默认是自动路由,即compositeId路由;反之是implicit路由。在solrcloud的admin界面上,能通过collection的state.json看得到collection的路由策略 1、compositeId路由 使用compositeId路由,在创建collection的时候必须要指定 numShards(分片数) 。 compositeId是一种不可扩展的路由策略。 1.1、compositeId路由原理 在创建collection的时候,compositeId路由确定的分片数 ( numShards),solr给每一片分配一个32bit hash范围。例如numShards=4,32位无符号范围是0-ffffffff(4294967295),那么每片的范围是 Shard3 : 0-1073741823 Shard4 : 1073741824-2147483647 Shard1 : 2147483648-3221225471 Shard2 : 3221225472

How can I sort solr result bases on dynamic fields

假如想象 提交于 2019-12-01 10:32:51
问题 Thanks for giving your time. I need to sort result on the basis of dynamic field. How can I do that ? when I am sorting on minimum value of some of those dynamic attribute. It's not giving correct result because my query is like &sort=min(A_160018,A_chandigarh1) Some of document having both field A_160018 and A_chandigarh1 while some document having no field and some having one either A_160018 or A_chandigarh1 for some result doc . could you help me , How can I sort for this type of dynamic

SolrCloud load-balancing

陌路散爱 提交于 2019-12-01 00:37:42
问题 i'm working on a .NET application that uses Solr as Search Engine. I had configured a SolrCloud installation with two server (one for Replica) and i didn't split the index in shards (number of shards = 1). I have read that SolrCloud (via Zookeeper) can do some load balancing, but i didn't understand how. If a call a specific address where an instance of solr is deployed, the query appears only on the logs of that specific server. On the documentation of SolrCloud i've found that: Explicitly

SolrCloud的搭建(CentOS 7)

冷暖自知 提交于 2019-11-30 18:13:17
注意ip地址为: 虚拟机ip设置 TYPE="Ethernet" BOOTPROTO="static" NAME="enp0s3" DEVICE="enp0s3" ONBOOT="yes" IPADDR="172.18.25.173" NETMASK="255.255.255.0" GATEWAY="172.18.25.1" DNS1=4.4.4.4 DNS2=8.8.8.8 IPV6INIT=no 一、SolrCloud简介 SolrCloud(solr 云)是 Solr 提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。 当一个系统的索引数据量少的时候是不需要使用SolrCloud 的,当索引量很大,搜索请求并发很高,这时需要使用 SolrCloud 来满足这些需求。 SolrCloud 是基于 Solr 和 Zookeeper 的分布式搜索方案,它的主要思想是使用 Zookeeper 作为集群的配置信息中心。 它有几个特色功能: 1)集中式的配置信息 2)自动容错 3)近实时搜索 4)查询时自动负载均衡 SolrCloud很吃硬件,一个最小的SolrCloud需要7台主机。 二、SolrCloud环境配置 1、zookeeper集群 来源: https://www.cnblogs.com/HuangJie-sol/p/11634471

SolrCloud集群

筅森魡賤 提交于 2019-11-30 13:38:30
1 SolrCloud简介 1.1什么是SolrCloud   SolrCloud(solr 云)是 Solr 提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用 SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用 SolrCloud 来满足这些需求。   SolrCloud 是基于 Solr 和Zookeeper的分布式搜索方案,它的主要思想是使用 Zookeeper作为集群的配置信息中心。   它有几个特色功能:     1)集中式的配置信息     2)自动容错     3)近实时搜索     4)查询时自动负载均衡 1.2 SolrCloud系统架构          【1】物理结构     三个 Solr 实例( 每个实例包括两个 Core),组成一个 SolrCloud。   【2】逻辑结构     索引集合包括两个 Shard(shard1 和 shard2),shard1 和 shard2 分别由三个 Core 组成,其中一个 Leader 两个 Replication,Leader 是由 zookeeper 选举产生,zookeeper 控制每个shard上三个 Core 的索引数据一致,解决高可用问题。     用户发起索引请求分别从 shard1 和

分布式搜索Solrcloud启动配置详解

一笑奈何 提交于 2019-11-30 12:21:14
Solrcloud 是 Apache 关于 Solr 分布式搜索的一个解决方案 . 前面我介绍过 Katta, 测试发现了很多问题 , 我还是不敢在公司的项目上使用 , 毕竟公司都是商业性质的 , 业务不是那么简单 , 压力也不小 . 刚好最近的 Solr4.0 经过 2 年 Bata 终于正式版了 , 我有理由试一试 . 先说一下我为什么那么关心 Katta,Solrcloud 这样的分布式解决方案 , 因为我们的索引大小已经 5.86GB 了 , 而且运行在单台机器上 , 没有索引备份 , 备份也是手工备份的 . 而且机器配置是 16 核心 CPU,8G 内存 . 上面还跑着一个 Oracle, 分给我的内存大小就在 3-4G. 我们急需要一个分布式搜索的解决方案 . solrcloud 的安装和配置在洞庭散人的 blog 上有介绍 : http://www.cnblogs.com/phinecos/archive/2012/02/10/2345634.html 感谢洞庭散人 , 但是他也是在 solr 中携带的 example 上演示 solrcloud 的 . 下载 solr 后其中 example 使用 jetty 运行的 .我总不至于一定要是用jetty吧, 我在把例子放到 tomcat 中运行出现了问题 . 如下 : 我的Tomcat运行在8080端口上

SolrCloud 4.3.1+Tomcat 7安装配置实践

眉间皱痕 提交于 2019-11-30 08:20:08
我们使用Solr Replication可以实现Solr服务器的可用性,即使某一个索引副本由于磁盘介质故障或者误操作删除等,其他的多个复制副本仍然可以提供服务。如果只是单纯的基于Solr Replication技术,只能对一个索引进行管理维护,当索引数据达到一定规模,搜索的性能成了瓶颈,除了重新规划设计索引,实现逻辑划分以外,没有更好地方法实现查询服务器的可扩展性。 SolrCloud就是为了解决这个问题而提出的。SolrCloud通过ZooKeeper集群来进行协调,使一个索引(SolrCloud中叫做一个Collection)进行分片,各个分片可以分布在不同的物理节点上,而且,对于同一个Collection的多个分片(Shard)之间没有交集,亦即,多个物理分片组成一个完成的索引Collection。为了保证分片数据的可用性,SolrCloud自动支持Solr Replication,可以同时对分片进行复制,冗余存储。下面,我们基于Solr最新的4.3.1版本进行安装配置SolrCloud集群,通过实践来实现索引数据的分布存储和检索。 准备工作 服务器信息 三台服务器: [plain] view plain copy 10.95.3.61 master 10.95.3.62 slave1 10.95.3.65 slave4 ZooKeeper集群配置 安装ZooKeeper集群

Solr集群配置

一个人想着一个人 提交于 2019-11-30 08:03:40
一、Zookeeper安装配置 1、 mkdir solrclound 2、 拷贝zookeeper 3、 解压 tar –zxvf zookeeper-3.4.6.tar.gz 4、 重命名mv zookeeper-3.4.6 zookeeper1 5、 复制cp -r zookeeper1 zookeeper2 6、 复制cp -r zookeeper1 zookeeper3 7、 配置zookeeper a) zookeeper1下创建data目录,mkdir data b) 创建一个myid的文件内容为1, echo 1 >> data/myid c) cat(显示文件的内容) myid d) 在conf下有一个zoo_sample.cfg文件,复制命名为zoo.cfg e) vim zoo.cfg 1、 修改路径dataDir=/home/dev/solrcloud/zookeeper1/data 2、 修改端口clientPort=2181 3、 加入云 server.1=192.168.36.130:2881:3881 server.2=192.168.36.130:2882:3882 server.3=192.168.36.130:2883:3883 f) 重复设置zookeeper2,zookeeper3 g) 制作启动文件 1、 vim start

solrcloud分布式集群部署&zookeeper集群安装

|▌冷眼眸甩不掉的悲伤 提交于 2019-11-30 08:02:49
Solrcloud集群搭建 使用solrcloud 有几点需要注意的: 索引数据量比较大;配置是统一的(zookeeper 会保持配置信息的一致性) 如果索引数据量不大,并且需求变动比较多,field 要经常变动的可以考虑用multicore 的模式。 规划 虚拟机环境centos6.2 64位系统 三台1G内存的虚机 网卡模式是NAT(测试环境推荐使用NAT) 192.168.139.121 master 192.168.139.122 slave1 192.168.139.123 slave2 修改 /etc/hosts 文件加入上面的域名 修改主机名 vi /etc/sysconfig/network 切记关闭防火墙(否则zookeeper启动 zkServer.sh status查看状态会找不到各自的角色) 首先要搭建的是zookeeper集群 Zookeeper集群的机器个数推荐是奇数台,半数机器挂掉,服务是可以正常提供的 所有需要的软件首先上传到 /soft下 使用的zookeeper.3.4.5.tar.gz 稳定版 tar –zxvf zookeeper.3.4.5.tar.gz cd zookeeper.3.4.5/conf mv zoo_sample.cfg zoo.cfg //修改配置文件名 mkdir /soft/zookeeper-data /