数据检索

Elasticsearch 是什么 Elasticsearch是一个基于 Apache Lucene(TM) 的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 但是 lucene 只是一个库 是java开发的 所以你必须用java语言开发。并且 lucene 非常的复杂 你需要深入了解 lucene Elasticsearch 也是 用Java开发的是基于Lucene 开发的当为核心 实现索引和 搜索 ，它是通过 REST API 来隐藏Lucene的 复杂让全文检索更为简单 不过 Elasticsearch 不仅仅 有Lucene 的全文搜索 还可 这样说 分布式实时文件存储，每个字段都被索引并可被搜索 分布式实时分析搜索引擎 可扩展百台服务器，处理PB级结构化或非结构化数据 而且，所有的这些功能被集成到一个服务里面，你的应用可以通过简单的 RESTful API 、各种语言的客户端甚至命令行与之交互。 上手Elasticsearch非常容易。它提供了许多合理的缺省值，并对初学者隐藏了复杂的搜索引擎理论。它开箱即用（安装即可使用），只需很少的学习既可在生产环境中使用。 Elasticsearch在 Apache 2 license 下许可使用，可以免费下载、使用和修改。 随着你对Elasticsearch的理解加深

学习主题：商品数据检索 1.创建ego-sso-web单点登录系统 (1)谈谈对象单点登录系统的理解 单点登录（Single Sign On），简称为 SSO，是目前比较流行的企业业务整合的解决方案之一。SSO 的定义是在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应 用系统 (2)描述实现单点登录的思路 实现单点登录，就是解决如何产生和存储那个信任，再就是其他系统如何验证这个信任的有效性。 因此，也就需要解决以下两点：  存储信任  验证信任 2.用户名唯一性验证 (1)谈谈用户名唯一性验证的实现思路 用户可能是根据用户名或邮件或电话号码注册的，为了保证唯一性，需要在数据库根据传入的字符串和type类型判断是否有这个人，如果有则返回的EgoResult的data属性设置为false说明该字符串不能用，如果没有则返回的EgoResult的data属性设置为true说明该字符串是可以使用的 (2)描述用户为唯一性验证响应到前台的数据格式 3.用户注册_用户登录 (1)描述用户注册的实现思路 用户按要求填写好注册页面后，点击注册将数据提交到后台，执行数据库的添加操作，需要用户封装created和updated属性。如果添加成功则返回EgoResult携带者成功的信息，如果添加失败则EgoResult属性携带着失败的信息，返回到前台 (2

学习主题：商品数据检索 1.Solr集群_SolrCloud环境搭建_数据导入 (1)谈谈对象SolrCloud的理解，SolrCloud进行数据写入的工作过程。 SolrCloud(solr 云)是 Solr 提供的分布式搜索方案，当你需要大规模，容错，分布式索引和 检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用 SolrCloud 的， 当索引量很大，搜索请求并发很高，这时需要使用 SolrCloud 满足这些需求 (2)谈谈SolrCloud和Zookeeper集群的关系 SolrCloud 不同于 redis 集群自带集群，SolrCloud 是基于 Solr 和 Zookeeper 的分布式搜索方 案，它的主要思想是使用 Zookeeper 作为集群的配置信息中心 2.实现商品信息关键字检索_分页_高亮显示 (1)描述Solr实现高亮显示的步骤 SearchItemServiceImpl： package com .bjsxt.ego.search.service.impl ; import com .bjsxt.ego.rpc.pojo.TbItem ; import com .bjsxt.ego.rpc.service.ItemService ; import com .bjsxt.ego.search.dao.ItemDao ;

ElasticSearch概述 1.介绍 **lucene问题：** 1.lucene是java开发的，对于不会java的人使用比较困难 2.lucene代码简化问题 3.分布式与高可用问题 **ElasticSearch：** 1.基于lucene的搜索服务器 2.提供一个分布式高可用多用户能力的全文检索引擎 3.基于RESTful web接口 4.java开发，但是以接口形式对外暴露 2.ElasticSearch结构 **包括三大部分：** 底层数据存储：维护索引文件，利用分布式数据切分存储，可以存在本地，也可以存在hdfs 封装lucene扩展功能：发现集群节点功能，支持各种对资源的管理 接口层：给用户提供访问接口（http协议，REST风格），用户可以通过url访问地址，通过请求方式， 对索引进行CRUD操作 来源： https://blog.csdn.net/weixin_43356218/article/details/102729285

es是分布式，高性能，高可用，可伸缩的搜索和分析系统 什么是全文检索和Lucene？ （1）全文检索，倒排索引 （2）lucene，就是一个jar包，里面包含了封装好的各种建立倒排索引，以及进行搜索的代码，包括各种算法。我们就用java开发的时候，引入lucene jar，然后基于lucene的api进行去进行开发就可以了。用lucene，我们就可以去将已有的数据建立索引，lucene会在本地磁盘上面，给我们组织索引的数据结构。另外的话，我们也可以用lucene提供的一些功能和api来针对磁盘上额 ES的优点： 自动维护数据的分布到多个节点的所有的建立，还有检索请求分布到多个节点的执行 自动维护数据的冗余副本，保证说，一些机器宕机了，不会丢失任何数据 封装了更多的高级功能，以给我们提供更多高级的支持，让我们快速的开发应用，开发更多复杂的应用，复杂的检索功能，聚合分析的功能，根据地理位置的检索 1、Elasticsearch的功能 （1）分布式的搜索引擎和数据分析引擎 搜索：百度，网站的站内搜索，IT系统的检索 数据分析：电商网站，最近7天牙膏这种商品销量排名前10的商家有哪些；新闻网站，最近1个月访问量排名前3的新闻版块是哪些 功能:分布式，搜索，数据分析 （2）全文检索，结构化检索，数据分析 全文检索：我想搜索商品名称包含牙膏的商品，select * from products

@author: Tobin @date: 2019/10/23 20:15:51 使用SELECT语句的ORDER BY子句，根据需要排序检索出的数据。 # 根据单个列排序 SELECT prod_name FROM products ORDER BY prod_name; # 根据多个列排序 SELECT prod_id, prod_price, prod_name FROM products ORDER BY prod_price, price_name; # 默认是升序排序A-Z，使用DESC实现降序,，升序使用ASC SELECT prod_id, prod_price, prod_name FROM products ORDER BY prod_price DESC; # DESC只针对具体的某列，所有列降序则每列都要加DESC # 默认a和A是相同的，需要区别要联系数据库管理员 SELECT prod_id, prod_price, prod_name FROM products ORDER BY prod_price DESC, price_name; # 与LIMIT结合，选取一列中的最高或者最低值 # 关键字的先后顺序不能错 SELECT prod_price FROM products ORDER BY prod_price DESC LIMIT 1; #

在简略学习了第六章和第七章的内容后，我对计算机的程序设计层有了新的了解，这两章分别从低级程序设计语言与伪代码以及问题求解与算法设计两个方面对程序设计层进行了阐述，下面是我的收获与问题。 *** 第六章低级程序设计语言与伪代码*** 6.1 计算机操作 计算机：计算机是能够存储，检索和处理数据的可编程电子设备。可编程的，存储，检索和处理是这个定义中的操作字。 存储，检索和处理是计算机能够对数据执行的动作。 控制单元执行的指令能够把数据存储到机器的内存中，在计器内存中检索数据，在算数逻辑单元中以某种方式处理数据。 6.2 机器语言 机器语言：由计算机直接使用的二进制编码指令构成的语言。【也是每种机器有的一个特定的能够被执行的操作集合】 Pep/8:一台虚拟机 虚拟机：为了模拟真实机器的重要特征而设计的假想机器。 Pep/8所反映的重要特性 程序计数器（PC）：其中包括下一条即将被执行的指令的地址 指令寄存器（IR）：其中包含正在被执行的指令的一个副本 累加器（是一个用来保存操作数据和结果的寄存器） 一个字节能够表示的最大十进制数是255,用二进制表示是111111,用十六进制表示是FF。一个字(16位)能够表示的最大十进制数是65535,用二进制表示是1111111111111用十六进制表示是FFFF。如果既要表示正数，又要表示负数，那么在量级上就会少一位(因为有一位用于表示符号)

第六章 低级程序设计语言与伪代码 6.1计算机操作 1.计算机：能够存储、检索和处理数据的可编程电子设备。 存储、检索和处理 是计算机能够对数据执行的操作。也就是说，控制单元执行的指令能够把数据存储到机器的内存中，在机器内存中检索数据，在算术逻辑单元中以某种方式处理数据。 6.2机器语言 1.机器语言(machine language)：由计算机直接使用的二进制编码指令构成的语言。 每种处理器都有自己专用的机器指令集合。 这些指令是机器唯一真正能够执行的指令。 2.Pep/8：一台虚拟机 虚拟机(virtual computer (machine)) ：为了模拟真实机器的重要特征而设计的假象机器。 Pep/8有39个机器语言指令。 Pep/8反映的重要特性 Pep/8的字长是2字节，或者16比特。这样向算术/逻辑单元（ALU）流入的数据或从算术/逻辑单元流出的数据在长度上就是16比特。 Pep/8有七个寄存器，我们重点研究：程序计数器(PC)、指令寄存器(IR)、累加器. 累加器是用来保存操作的数据和结果。 可用的比特数决定了我们可以使用的内存大小。 指令格式 在Pep/8中，一条指令由两部分组成，即 8位的指令说明符和(可选的)16位的操作数说明符。 指令说明符(指令的第一个字节) ：说明了要执行什么操作和如何解释操作数的位置。 操作数说明符(指令的第二和第三个字节)

Lucene4.0的官网文档： http://lucene.apache.org/core/4_0_0/core/overview-summary.html 一、什么是lucene Lucene是一套用于全文检索和搜寻的开源程式库是全文检索的框架而不是产品（不像百度不同）， lucene其实就做两种工作：一入一出。所谓入是写入，即将你提供的源（本质是字符串）写入索引或者将其从索引中删除；所谓出是读出，即向用户提供全文搜索服务，让用户可以通过关键词定位源。 百科是这样说的：Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。 lucene能做什么 要回答这个问题， 先要了解 lucene 的本质。 实际上 lucene 的功能很单一， 说到 底， 就是你给它若干个字符串， 然后它为你提供一个全文搜索服务， 告诉你你要 搜索的关键词出现在哪里。 知道了这个本质， 你就可以发挥想象做任何符合这个 条件的事情了。 你可以把站内新闻都索引了， 做个资料库；

Lucene及全文搜索实现原理 全文搜索 全文搜索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。全文搜索搜索引擎数据库中的数据。 全文搜索的过程主要分为两个部分，索引的建立以及索引的搜索。 国内外的全文搜索常用的检索模型主要有向量模型，布尔模型等。 布尔模型 布尔模型是第一个信息检索的模型，可能也是最受争论的模型。它利用布尔运算符连接各个检索词，然后由计算机进行逻辑运算，找出所需信息的一种检索方法。布尔定义了三种基本操作：AND,OR和NOT。 概率检索模型 多是建立在相关性理论基础上，基于对相关性的不同理解而建立了不同的概率检索模型，而且由此导出不同的排序输出原则。可以说相关性原理及排序原理是概率检索模型的理论核心。 向量模型 向量空间模型（Vector Space Model，VSM）在上世纪70年代由信息检索领域奠基人Salton教授提出来，并成功地应用于著名的SMART文本检索系统。把对文本内容的处理简化为向量空间中的向量运算，它以空间上的相似度表达语义的相似度，直观易懂。当文档被表示为文档空间的向量，就可以通过计算向量之间的相似性来度量文档间的相似性