solr

Elasticsearch简介 * Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。 它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。 Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。 但是Lucene只是一个框架，要充分利用它的功能，需要使用JAVA，并且在程序中集成Lucene。需要很多的学习了解，才能明白它是如何运行的，Lucene确实非常复杂。 Elasticsearch使用Lucene作为内部引擎，但是在使用它做全文搜索时，只需要使用统一开发好的API即可，而不需要了解其背后复杂的Lucene的运行原理。 当然Elasticsearch并不仅仅是Lucene这么简单，它不但包括了全文搜索功能，还可以进行以下工作: 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。 这么多的功能被集成到一台服务器上，你可以轻松地通过客户端或者任何你喜欢的程序语言与ES的RESTful API进行交流。 Elasticsearch的上手是非常简单的。它附带了很多非常合理的默认值

Solr2004年诞生 ElasticSearch 2010年诞生 ES更新 ElasticSearch简介: 　　ElasticSearch是一个实时的分布式的搜索引擎和分析引擎.它可以帮助你用前所未有的速度去处理大规模数据. 　　它可以用于全文检索,结构化以及分析.当然你也可以将这三者进行组合. 　　ElasticSearch是一个建立在全文搜索引擎Apache Lucene基础上的搜索引擎,可以说Lucene是当今最先进,最高效的全共鞥开源搜索引擎框架. 　　但是Lucene只是一个框架,要充分利用它的功能,需要使用JAVA,并且在程序中集成Lucene.需要很多的学习了解,才能明白它是如何运行的,Lucene确实非常复杂. 　　ElasticSearch使用Lucene作为内部引擎,但是在使用它做全文检索时,只需要使用统一开发好的API即可,而不需要了解其背后复杂的Lucene的运行原理. 　　当然Elasticsearch并不仅仅是Lucene这么简单,它不但包括了全文搜索功能,还可以进行一下工作: 　　　　分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索. 　　　　实时分析的分布式搜索引擎. 　　　　可以拓展到上百台服务器上,处理PB级别的结构化和非结构化数据 这么多的功能都被继承到一台服务器上

概述 在Hbase中,表的RowKey 按照字典排序, Region按照RowKey设置split point进行shard，通过这种方式实现的全局、分布式索引. 成为了其成功的最大的砝码。 然而单一的通过RowKey检索数据的方式,不再满足更多的需求，查询成为Hbase的瓶颈，人们更加希望像Sql一样快速检索数据，可是，Hbase之前定位的是大表的存储，要进行这样的查询，往往是要通过类似Hive、Pig等系统进行全表的MapReduce计算，这种方式既浪费了机器的计算资源，又因高延迟使得应用黯然失色。于是，针对HBase Secondary Indexing的方案出现了。 Solr Solr是一个独立的企业级搜索应用服务器，是Apache Lucene项目的开源企业搜索平台, 其主要功能包括全文检索、命中标示、分面搜索、动态聚类、 数据库 集成，以及富文本（如Word、PDF）的处理。Solr是高度可扩展的，并提供了分布式搜索和索引复制。Solr 4还增加了NoSQL支持，以及基于Zookeeper的分布式扩展功能SolrCloud。SolrCloud的说明可以参看： SolrCloud分布式部署 。它的主要特性包括：高效、灵活的缓存功能，垂直搜索功能，Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展

solr4.3+tomcat入门部署 博客分类： Solr solr4.3 入门部署 solr4.3的入门配置 目前阿帕奇官方仅推荐2个比较稳定的版本一个是4.3的版本，一个3.6的版本 3.6的版本没有用过，所以在此无涉及，下面就来说说solr4.3的入门配置 solr4.3与solr4.2最大的区别就在与solr4.3的日志模块与核心模块分离出来了 所以在进行安装配置时需要另行配置，其他的步骤基本与solr4.2的相同 准备环境tomcat6(笔者的版本)+solr4.3 1.首先，需要从官网上下载solr4.3的zip的压缩包,并解压出来 2.假如tomcat放在E盘下面,那么第一步需要进行的操作就是要把 E:solr4.3的jar包\solr-4.3.0\dist下面的solr-4.3.0.war,拷贝到 tomcat中webapps下面然后启动tomcat,war包将自动解压出来， 3. 然后就是拷贝从官网下载下载的例子包中的E:\solr\solr4.3的jar包\solr-4.3.0\example\solr 下面的collection1文件夹与solr.xml(注意solr.xml只需要一份即可,这个在配置多份索引时 无须多拷贝)放在E:\tomcat-solr4.3\webapps\solr\下面 4.配置E:\tomcat-solr4.3\webapps

1.常用 q - 查询字符串，必须的。 fl - 指定返回那些字段内容，用逗号或空格分隔多个。 start - 返回第一条记录在完整找到结果中的偏移位置， 0 开始，一般分页用。 rows - 指定返回结果最多有多少条记录，配合 start 来实现分页。 sort - 排序，格式： sort=+<desc|asc>[,+<desc|asc>]… 。示例：（ inStock desc, price asc）表示先 “inStock” 降序, 再 “price” 升序，默认是相关性降序。注：排序字段 只能针对数值型如： int,dobuble 等… wt - (writer type)指定输出格式，可以有 xml, json, php, phps, 后面 solr 1.3 增加的，要用通知我们，因为默认没有打开。 fq - （ filter query）过虑查询，作用：在 q 查询符合结果中同时是 fq 查询符合的，例如：q=mm&fq=date_time:[20081001 TO 20091031]，找关键字 mm，并且 date_time 是 20081001 到 20091031 之间的。官方文档：http://wiki.apache.org/solr/CommonQueryParameters#head

摘要：本篇是本人在做一个大数据项目 时 ，对于系统架构的一点总结，如何在保证存储量的情况下，又能保证数据的检索速度 。 前提： Solr、SolrCloud提供了一整套的数据检索方案，HBase提供了完善的大数据存储机制。 需求： 1、对于添加到HBase中的结构化数据，能够检索出来。 2、数据量较大，达到10亿，100亿数据量 。 3、 检索的实时性要求较高，秒级更新 。 说明： 以下是使用Solr和HBase共同搭建的系统架构 。 1.1 一次性创建索引 l、 删除全索引 效率很高，可以关闭 Solr 后，直接删除 Data 文件。 2、 重新创建全索引 拉取 HBase 中全数据，分批次创建索引。 1.2 增量创建索引 1、触发器发送数据到 Solr 建索引。 配置并使用 HBase 触发器功能，配置实现如下： alter 'angelHbase', METHOD => 'table_att', 'coprocessor' => '/home/hbase/hbase-0.94.18-security/lib/solrHbase.jar|solrHbase.test.SorlIndexCoprocessorObserver|1073741823|' alter 'angelHbase', METHOD =>'table_att_unset', NAME =>

solr4.3的入门配置 目前阿帕奇官方仅推荐2个比较稳定的版本一个是4.3的版本，一个3.6的版本 3.6的版本没有用过，所以在此无涉及，下面就来说说solr4.3的入门配置 solr4.3与solr4.2最大的区别就在与solr4.3的日志模块与核心模块分离出来了 所以在进行安装配置时需要另行配置，其他的步骤基本与solr4.2的相同 准备环境tomcat6(笔者的版本)+solr4.3 1.首先，需要从官网上下载solr4.3的zip的压缩包,并解压出来 2.假如tomcat放在E盘下面,那么第一步需要进行的操作就是要把 E:solr4.3的jar包\solr-4.3.0\dist下面的solr-4.3.0.war,拷贝到 tomcat中webapps下面然后启动tomcat,war包将自动解压出来， 3. 然后就是拷贝从官网下载下载的例子包中的E:\solr\solr4.3的jar包\solr-4.3.0\example\solr 下面的collection1文件夹与solr.xml(注意solr.xml只需要一份即可,这个在配置多份索引时 无须多拷贝)放在E:\tomcat-solr4.3\webapps\solr\下面 4.配置E:\tomcat-solr4.3\webapps\solr\WEB-INF下面的web.xml 将此节点注释取消掉即可 Java代码 <env