Elasticsearch(一)

一、简介

Elasticsearch是一个基于Apache Lucene™的开源引擎。无论在开源还是专用领域，Lucene可以被认为是迄今为止最先进、性能最好、功能最全的搜索引擎库。

但是，Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并直接集成到你的应用中，更糟糕的是，Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。

Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索功能，但是它的目的是通过简单RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单

Elasticsearch的中文网址：https://www.elastic.co/cn/products/elasticsearch

1.1 正向索引与倒排索引

正向索引与倒排索引，这是在搜索领域中非常重要的两个名词，正向索引通常用于数据库中，倒排索引最多用于搜索引擎领域，我们根据如下两个网页对这两个概念进行阐述：

html1

我爱我的祖国，我爱编程

html2

我爱编程，我是个快乐的小码农

正向索引： 假设我们使用MySQL的全文检索，会对如上两句话进行分词处理，那么预计得到的结果如下：

我 爱 爱我 祖国 我的祖国 编程 爱编程 我爱编程

我 我爱 爱 编程 爱编程 我爱编程 快乐 码农 小码农

假设我们使用正向索引上搜索编程这个词，那么它会一句一句第去查找是否包含编程这个关键词，如果有就加入到结果集中。假设现在有成千上百个网页，每个网页都有非常多的分词，那么搜索效率将会非常非常低。

倒排索引： 倒排索引是按照分词与文档进行映射

关键词	文档名
我	html1,html2
爱	html1,html2
爱我	html1
我爱	html2
祖国	html1
我的祖国	html1
编程	html1,html2
我爱编程	html1,html2
爱编程	html1,html2
快乐	html2
码农	html2
小码农	html2

如果采用倒排索引的方式搜索编程这个词，那么会直接到关键词中查找到编程，然后查找到对应的文档，这就是所谓的倒排索引。

1.2 Elasticsearch基本概念

索引

  Elasticsearch中的索引有多层的意思：
    1. Elasticsearch中的索引的概念与数据库中索引的概念是完全不一样的，
       Elasticsearch中索引如果类比到数据库，那就是一个数据库名。
    2. 它还描述了一个动作，就是将某个文档保存在elasticsearch的过程也叫索引

文档

      文档在Elasticsearch中就是具体的数据，类比到数据库中那就是一条记录。

在7.0之前，一个Index可以创建多个类型，从7.0开始，一个索引只能创建一个类型，也就是_doc

DBMS	Elasticsearch
Table	Index(Type)
Row	Document
Column	Field
Schema	Mapping
SQL	DSL(Descriptor Structure Language)

二、 RestAPI

2.1 基本CURD

添加数据，没有指定ID，系统会生成ID

POST user/_doc
{
  "age": 10,
  "firstName": "Will",
  "lastName": "Smith"
}

操作数据，指定ID，如果没有对应ID，就添加数据；如果有则修改数据

POST user/_doc/1
{
  "age": 20,
  "firstName": "Will",
  "lastName": "Smith"
}

通过_create的方式添加数据，如果存在ID，就会报错

POST user/_create/2
{
  "age": 40,
  "firstName": "Douge",
  "lastName": "Lee"
}

查询指定ID的文档

GET user/_doc/1

删除指定ID的文档

DELETE user/_doc/1

指定ID，创建或者覆盖

PUT user/_doc/1
{
  "age": 40,
  "firstName": "Hello",
  "lastName": "Lee"
}

修改原有数据结构

POST user/_update/1
{
  "doc": {
    "firstName":"Rodan",
    "lastName": "Johson"
  }
}

批量查询

GET _mget
{
    "docs": [
        {"_index": "movies" , "_id":1},
        {"_index": "movies" , "_id":2}
    ]
}

分页查询

GET movies/_search
{
  "from": 0,
  "size": 20
}

批量插入(可以指定ID，也可以不指定ID)

POST user/_bulk
{"index":{"_id": 23}}
{"firstName":"Will", "lastName":"Smith", "mobile": "123455"}
{"index":{}}
{"firstName":"Lily", "lastName":"Bob", "mobile": "98765"}

2.2 URI查询

泛查询，就是不指定字段，全字段查找，如下查找所有字段中包含有2012的电影

GET movies/_search?q=2012

查询title中包含有2012的所有的电影(df是default field)

GET movies/_search?q=2012&df=title
或者
GET movies/_search?q=title:2012

查询title中包含有2012，取索引从10开始，共8条数据

GET movies/_search?q=title:2012&from=10&size=8

字符串判断查询

# 查询titile中包含有Beautiful, Mind为泛查询
GET movies/_search?q=title:Beautiful Mind

#查询title中包含有Beautiful, 并且年份大于2012
GET movies/_search?q=title:Beautiful AND year:>=2012

#查询titile中包含有Beautiful或者Mind
GET movies/_search?q=title:(Beautiful Mind)
GET movies/_search?q=title:(+Mind +Beautiful)

#查询title中包含有“Beautiful Mind”的所有的电影
GET movies/_search?q=title:"Beautiful Mind"


#查询title中既包含有Mind又包含有Beautiful的所有的电影，对先后顺序没有要求
GET movies/_search?q=title:(Mind AND Beautiful)
GET movies/_search?q=title:(+Mind AND +Beautiful)

#查询title中包含Mind但是不包含Beautiful的所有的电影
GET movies/_search?q=title:(Mind NOT Beautiful)
GET movies/_search?q=title:(Mind -Beautiful)

年份判断查询

#查询2018年以后上映的电影
GET movies/_search?q=year:>=2018

#查询2012年到2017年上映的电影
GET movies/_search?q=year:(>=2012 AND <2018)

#查询2016年到2017年所有的电影，注意：必须以 ] 结尾
GET movies/_search?q=year:{2015 TO 2017]

正则判断查询

#查询title中以Mi开头，中间包含一个字符，以d结尾的所有的电影
GET movies/_search?q=title:Mi?d

#查询title中以Min开头，后面为任何内容的电影
GET movies/_search?q=title:Min*

2.3 Request Body查询

在有些查询中，可能会用到各种特别复杂的查询，那么就需要使用Request Body查询。

以year的倒序排序，查询电影年份在 [2017, 2018]的数据, query只能单条件查询

GET movies/_search
{
  "sort": [
    {
      "year": {
        "order": "desc"
      }
    }
  ],
  # query中只能有一个条件
  "query": {
    "range": {
      "year": {
        "gte": 2017,
        "lte": 2018
      }
    }
  }
}

以year的倒序排序，查询titile中包含有Beautiful或者Mind的数据, query只能单条件查询

GET movies/_search
{
  "sort": [
    {
      "year": {
        "order": "desc"
      }
    }
  ],
  # query中只能有一个条件
  "query": {
    "match": {
      "title": "Beautiful Mind"
    }
  }
}

短语匹配，查询title中包含有 “Beautiful Mind” 这个短语的的电影

GET movies/_search
{
  "query": {
    "match_phrase": {
      "title": "Beautiful Mind"
    }
  }
}

按照年份的倒序，分页查询

GET movies/_search
{
  "sort": [
    {
      "year": {
        "order": "desc"
      }
    }
  ],
  "from": 0,
  "size": 20
}

只查询部分列

GET movies/_search
{
  "_source": ["title", "year"]
}

多个条件查询，多条件查询必须使用bool

GET movies/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "year": {
              "gte": 2017,
              "lte": 2018
            }
          }
        },
        {
          "match": {
            "title": "Beautiful Mind"
          }
        }
      ]
    }
  }
}

多字段同时匹配某些字符串

GET movies/_search
{
  "query": {
    "multi_match": {
      "query": "beautiful mind Romance",
      "fields": ["title", "genre"],
      "type": "best_fields"
    }
  }
}

其中type的值有三个:

- most_fields：在多字段中匹配的越多排名越靠前（数量）
- best_fields: 能完全匹配的文档，排名越靠前。（词项）
- cross_fields: 查询越分散，排名越靠前。（分散在不同字段之间）

query_string 的用法

GET movies/_search
{
  "query": {
    "query_string": {
      "default_field": "title",
      "query": "Beautiful Mind",
      "default_operator": "AND"   #不加默认是OR
    }
  }
}


GET movies/_search
{
  "query": {
    "query_string": {
      "fields": ["title", "genre"],
      "query": "Beautiful Mind",
      "default_operator": "AND"
    }
  }
}

term实现精准匹配，查询title为Beautiful Mind 的电影

GET movies/_search
{
  "query": {
    "term": {
      "title": {
        "value": "Beautiful Mind"
      }
    }
  }
}

多条件或判断

GET movies/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "title": "Beautiful Mind"
          }
        },
        {
          "range": {
            "year": {
              "gte": 2017,
              "lte": 2018
            }
          }
        }
      ]
    }
  }
}

推荐搜索

所谓的推荐搜索就是当我们根据条件搜索的时候，因为单词的拼写错误，但是无法搜索出结果，那么Elasticsearch会给出一定的搜索建议，通过 sugguest 来实现。

GET movies/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "title": "beautifu Minx"
          }
        },
        {
          "match": {
            "genre": "drama"
          }
        }
      ]
    }
  },
  "suggest": {
    "title-suggest": {
      "text": "beautifu Minx",
      "term": {
        "field": "title",
        "suggest_mode": "missing"
      }
    },
    "genre-suggest": {
       "text": "drama",
      "term": {
        "field": "genre",
        "suggest_mode": "missing"
      }
    }
  }
}

我们说一下suggest_mode 的三种模式：missing 、popular、always

missing: 意思是当词典中没有找到对应的索引信息，才去推荐。
popular: 意思是即使我们去搜索一个被索引了的单词，但是还是会去给我们推荐类似的但是出现频率很高的词。
always：无论在任何情况下，都给出推荐。

注意： 这三种模式只能在term下使用

2.4 自动补全功能

Elasticsearch的自动补全功能是基于 suggest 来实现的，但是需要提前定义好需要进行搜索字段的mapping信息(mapping一旦创建好后是不能修改的)。

定义mapping并执行，需要自动补全的属性的 type 必须是 completion

{"mappings" : {
   "properties" : {
      "@version" : {
        "type" : "text",
        "fields" : {
          "keyword" : {
            "type" : "keyword",
            "ignore_above" : 256
          }
        }
      },
      "genre" : {
        "type" : "completion",  
        "fields" : {
          "keyword" : {
            "type" : "keyword",
            "ignore_above" : 256
          }
        }
      },
      "id" : {
        "type" : "text",
        "fields" : {
          "keyword" : {
            "type" : "keyword",
            "ignore_above" : 256
          }
        }
     },
     "title" : {
        "type" : "completion",
        "fields" : {
          "keyword" : {
            "type" : "keyword",
            "ignore_above" : 256
          }
        }
      },
      "year" : {
        "type" : "long"
      }
    }
  }
}

执行如下命令，重新定义mapping

put movies
{
    # 这里是重新定义的mapping
}

执行推荐

GET movies/_search
{
  "suggest": {
    "title-suggest": {
      "prefix": "bokx",
      "completion": {
        "field": "title"
      }
    }
  }
}

不足：completion这个推荐的方式只能是前缀查询，但是其查找速度极快。

来源：CSDN

作者：Aeroball

链接：https://blog.csdn.net/weixin_46034226/article/details/103770095

标签

ElasticSearch

title

movies

一、 简介