lucene

Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 是当下最先进、高性能、全功能的搜索引擎库。但是 Lucene 仅仅只是一个库。为了充分发挥其功能，你需要使用 Java 并将 Lucene 直接集成到应用程序中， 并且可能需要获得信息检索才能了解其工作原理。 Elasticsearch 也是使用 Java 编写的，它的内部使用 Lucene 做索引与搜索，但是它的目的是使全文检索变得简单， 通过隐藏 Lucene 的复杂性，取而代之的提供一套简单一致的 RESTful API。 Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎。 它可以被下面这样准确的形容： 一个分布式的实时文档存储， 每个字段 可以被索引与搜索 一个分布式实时分析搜索引擎 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据 Elasticsearch 将所有的功能打包成一个单独的服务，这样你可以通过程序与它提供的简单的 RESTful API 进行通信， 可以使用自己喜欢的编程语言充当 web 客户端，甚至可以使用命令行（去充当这个客户端）。 下载地址： www.elastic.co/downloads Tar方式安装： curl -L -O https://artifacts

　　Java编程在线学习靠谱吗?能学会吗?在线学习Java的方式靠不靠谱主要看机构的课程，和个人的努力情况。费用、时间上有压力建议选择在线学习，但在线学习对自控能力要求更高，坚持看完整期课程需要自律。如果找到一家靠谱的在线学习平台课程内容有保障，那么学习的方向不会出错。 　　重点是看Java在线培训机构的课程大纲，那么Java编程在线学习内容有哪些呢? 　　1、Java核心库 　　JavaSE的内容包括：环境搭建、基础语法、面向对象、数组、集合、常用类、IO流、反射机制、网络编程。 　　2、MySQL数据库 　　搞定一门数据库相关的课程，如：MySQL、Oracle，搞定一个就可以了，目前互联网公司都在使用MySQL，学习MySQL数据库，小巧轻盈，免费，由于互联网公司的项目访问量比较大，所以一般会搭建数据库的集群，可以一个数据库不够，所以需要搭建数据库集群，应付高并发。 　　3、WEB前端 　　从事Java开发JavaEE开发，主要开发的系统结构是B/S结构的，B指的是Browser，S指的是Server。要开发这种系统，B端要会，S端也要精通。WEB前端的学习就是学习B端技术。包括：HTML、CSS、JavaScript(JS)、jQuery框架。 　　4、WEB后端 　　WEB后端其实可以是很多种不同的编程语言，例如：PHP、C、C++、Java

具体参考之前的博文 ES 优点： 应用场景： 中文分词器： 扩展本地词库 或者文件配置： 配置远程词库： 考虑放到web 容器里面 需要在 ik 插件配置文件中配置 ElasticSearch-Head 是集群操作和管理工具 需要 nodejs环境安装 眼熟 用过 ES 提供了各种 Rest-api CURL 工具 来源： oschina 链接： https://my.oschina.net/u/3847203/blog/2997053

搜索技术---solr solr 企业站内搜索技术选型 在一些大型门户网站、电子商务网站等都需要站内搜索功能，使用传统的数据库查询方式实现搜索无法满足一些高级的搜索需求，比如：搜索速度要快、搜索结果按相关度排序、搜索内容格式不固定等，这里就需要使用全文检索技术实现搜索功能。 单独使用 Lucene 实现 单独使用Lucene实现站内搜索需要开发的工作量较大，主要表现在：索引维护、索引性能优化、搜索性能优化等，因此不建议采用。 使用 Google 或 Baidu 接口 通过第三方搜索引擎提供的接口实现站内搜索，这样和第三方引擎系统依赖紧密，不方便扩展，不建议采用。 使用 Solr 实现 基于Solr实现站内搜索扩展性较好并且可以减少程序员的工作量，因为Solr提供了较为完备的搜索引擎解决方案，因此在门户、论坛等系统中常用此方案。 什么是Solr Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化 Solr可以独立运行，运行在Jetty、Tomcat等这些Servlet容器中，Solr 索引的实现方法很简单，用 POST 方法向 Solr 服务器发送一个描述 Field 及其内容的 XML 文档，Solr根据xml文档添加、删除

一、写在前面 ES（Elasticsearch下文统一称为ES）越来越多的企业在业务场景是使用ES存储自己的非结构化数据，例如电商业务实现商品站内搜索，数据指标分析，日志分析等，ES作为传统关系型数据库的补充，提供了关系型数据库不具备的一些能力。 ES最先进入大众视野的是其能够实现全文搜索的能力，也是由于基于Lucene的实现，内部有一种倒排索引的数据结构。 本文作者将介绍ES的分布式架构，以及ES的存储索引机制，本文不会详细介绍ES的API，会从整体架构层面进行分析，后续作者会有其他文章对ES的使用进行介绍。 二、什么是倒排索引 要讲明白什么是倒排索引，首先我们先梳理下什么索引，比如一本书，书的目录页，有章节，章节名称，我们想看哪个章节，我们通过目录页，查到对应章节和页码，就能定位到具体的章节内容，通过目录页的章节名称查到章节的页码，进而看到章节内容，这个过程就是一个索引的过程，那么什么是倒排索引呢？ 比如查询《java编程思想》这本书的文章，翻开书本可以看到目录页，记录这个章节名字和章节地址页码，通过查询章节名字“继承”可以定位到“继承”这篇章节的具体地址，查看到文章的内容，我们可以看到文章内容中包含很多“对象”这个词。 那么如果我们要在这本书中查询所有包含有“对象”这个词的文章，那该怎么办呢？ 按照现在的索引方式无疑大海捞针，假设我们有一个“对象”--→文章的映射关系

1. 什么是 Hadoop (1) Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构； (2) 主要解决，海量数据的存储和海量数据的分析计算问题； (3) 广义上来说，Hadoop 通常是指一个更广泛的概念—— Hadoop 生态圈。 2. Hadoop 的发展历史 (1) Lucene--Doug Cutting 开创的开源软件，用 Java 书写代码，实现与 Google 类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎； (2) 2001年年底成为 Apache 基金会的一个子项目； (3) 对于大数量的场景，Lucene 面对与 Google 同样的困难； (4) 学习和模仿 Google 解决这些问题的办法 ：微型版 Nutch； (5) 可以说 Google 是 Hadoop 的思想之源(Google在大数据方面的三篇论文)； GFS --->HDFS Map-Reduce --->MR BigTable --->Hbase (6) 2003-2004年，Google 公开了部分 GFS 和 Mapreduce 思想的细节，以此为基础 Doug Cutting 等人用了2年业余时间实现了 DFS 和 Mapreduce 机制，使 Nutch 性能飙升； (7) 2005 年 Hadoop 作为 Lucene 的子项目

阿里巴巴（一面） 阿里找了一个北邮学长的内推，准确来说应该是直推，是他帮我直接录的简历，他本科进的阿里蚂蚁金服，厉害吧？是真的佩服。第一次在官网上填资料，想想马云有多出名，想想蚂蚁金服这样的顶级技术，有些兴奋，有些期待。 录完简历后等待简历评估，原来，找内推不一定能得到面试机会，能不能得到面试机会要经过简历评估（我这才知道，原来内推免笔试可不是那么容易的），毕竟内推能免去在线笔试直接面试，互联网第一梯队像百度、阿里，腾讯的笔试真的很有难度，做过前几年这些公司的笔试题，真的太难了。在阿里的校招群里看到很多研究生研究算法，前端，Java研发的，简历评估后直接变成已回绝没有得到面试机会。心想，我一个研究生，Java研发都是自学的，项目都是自己设计的需求，简历也就一张纸，究竟能不能得到面试机会？ 填完资料的一个星期后收到了支付宝的面试电话，突然变得好紧张，居然得到了面试的机会。 自我介绍 简单的介绍一下你的项目 一个有500个用户的广播系统，你怎么做性能优化 当用户提交请求后，却立即按撤回按钮，涉及性能的数据落地问题你怎么处理 Lucene底层实现原理，它的索引结构 ibatis跟hibernate的区别 ibatis是怎么实现映射的，它的映射原理是什么 Java I/O底层细节，注意是底层细节，而不是怎么用 你对mysql有什么了解 说一下数据库事务的四个特性

接到一个任务，给社区数字运营看板的一部分看板新增查询功能，想了想，grafana有自带的配置功能，提供用户根据Lucene查询语法搭配使用，可以做到动态查询，废话不多说，上菜 首先，看板数据已经准备好，如下，统计仓库中的issue信息，我们要做的是根据关键字进行模糊查询 第一步： 先配置查询的参数，查询方式为term,根据特定字段这边是gitee_repo这个是和编辑面板中模糊匹配的名称一致（{"find":"term","field":"gitee_repo"}），如下图 第二步：gitee_repo:http*$gitee_repo*， Lucene支持在Term中使用通配符来支持模糊查询，其中*匹配多个字符，？匹配单个字符，具体情况大家可以随意发挥， 第三步，已经配置完成，检查一下效果，搜索关键词mep,结果如下图： 至此，任务完成，其中用到的查询方式为term,为什么要用term呢，因为我们查询仓库的信息是单个关键词，同时呢，我们又不能把整个仓库的链接全打上，因此，这边选择term查询，顺便普及一下通用的几种查询的区别，方便大家对号使用 term: 在倒排索引中查找确定的词组，它不会分词，通常适用于 keyword、 numeric、date 等类型的值 term：查询某个文档含有多个关键词 mathc：对查询的字符串会进行分词，类如　"hello babay"，