搜索引擎

　　我们通常所说的单页面应用程序通常通过前端框架（angular、 react 、 vue ）进行开发， 单页面应用程序 将所有的活动局限于一个Web页面中，仅在该Web页面初始化时加载相应的HTML、JavaScript 和 CSS。一旦页面加载完成了，SPA不会因为用户的操作而进行页面的重新加载或跳转。取而代之的是利用 JavaScript 动态的变换HTML的内容，从而实现UI与用户的交互。由于避免了页面的重新加载，SPA 可以提供较为流畅的用户体验。 一、优点 1.良好的交互体验 　　单页应用的内容的改变不需要重新加载整个页面，获取数据也是通过Ajax异步获取，没有页面之间的切换，就不会出现“白屏现象”,也不会出现假死并有“闪烁”现象，页面显示流畅，web应用更具响应性和更令人着迷。 2.良好的前后端工作分离模式 　　后端不再负责模板渲染、输出页面工作，后端API通用化，即同一套后端程序代码，不用修改就可以用于Web界面、手机、平板等多种客户端。 3.减轻服务器压力 　　单页应用相对服务器压力小，服务器只用出数据就可以，不用管展示逻辑和页面合成，吞吐能力会提高几倍。 二、缺点 1.首屏加载慢 如果不对路由进行处理，在加载首页的时候，就会将所有组件全部加载，并向服务器请求数据，这必将拖慢加载速度； 通过查看Network，发现整个网站加载试讲长达10几秒

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/shenzhen_zsw/article/details/90745711 分布式搜索引擎ElasticSearch-Elasticsearch Docker环境下安装-HEAD插件安装 Elasticsearch Docker环境下安装-HEAD插件安装 （1）修改/usr/share/elasticsearch.yml ,添加允许跨域配置 （2）重新启动elasticseach容器 （3）下载head镜像（此步省略） （4）创建head容器 Elasticsearch Docker环境下安装-HEAD插件安装 （1）修改/usr/share/elasticsearch.yml ,添加允许跨域配置 http.cors.enabled: true http.cors.allow-origin: "*" （2）重新启动elasticseach容器 docker restart tensquare_elasticsearch （3）下载head镜像（此步省略） docker pull mobz/elasticsearch-head:5 （4）创建head容器 docker run -di --name=myhead -p 9100:9100 mobz/elasticsearch-head

概述 我们的根本目标是为网站带来真实的流量，大致有以下几种方式： 搜索引擎所带来的流量 平台推荐所带来的流量 打广告 标题的拟定 标题要贴合文章内容，如果与文章实际内容不符，可能会被搜索引擎惩罚。 使用引人注目的标题（compelling title）。 用词要为大家所常用的词汇，要符合受众的语言习惯。 当自己搜索内容时，可以注意排在前列的文章的标题，学习它们是如何拟定标题的。 当我们选择关键词时，有如下工具可以使用 Google Keyword Planner Google Trends 外链 所谓外链就是其他网站中导向自己网站的链接。如果一个网站外链比较多，搜索引擎就会在认为该网站较为有价值，因此会提高其权重，而权重高的网站在搜索结果中相对靠前，因此搜索引擎带来的流量也就比较多。这也是为什么很多人要添加友链。 但要注意一点，外链未必有效，如果链接中注明了 rel="nofollow noreferrer" ，例如知乎，CSDN 等，则这种外链对提升网站权重毫无用处，因为搜索引擎会直接将其忽视掉。 我们可以使用 此工具 查询网站的外链情况。 这也是为什么我不让别人转载自己的博客文章，且不说有些人根本不附上原文链接，即使附上也可能是文本的形式，即使是超链接的形式可能也被加上了 nofollow 属性，反而自己的文章可能会被搜索引擎判定为抄袭，从而降低权重。 参考 A Simple

在 nutch与起点R3集成之笔记（一） 中介绍了在起点R3中添加nutch要用到的索引字段，上述字段建好后，就可以通过nutch抓取一个或多个网站内容，并通过 bin/nutch solrindex 送到起点R3索引库中。 三、nutch安装与配置 1.安装nutch 先从 http://www.apache.org/dist//nutch/apache-nutch-1.3-bin.zip 下载nutch1.3，展开。nutch可以在linux环境下运行，也可以在windows环境下运行，也可以导入到eclipse中运行。 在linux环境下安装最简单，将展开后runtime/local目录下的内容上传到linux的一个目录下，如/opt/nutch1.3，同时将 /opt/nutch1.3/lib下的nutch-1.3.jar copy到 /opt/nutch1.3目录，并改名为 nutch-1.3.job，并chmod +x /opt/nutch1.3/bin。同时要有JDK环境，并在profile中设置JAVA_HOME，PATH中有JDK的bin路径。在 /opt/nutch1.3目录键入 bin/nutch ,出现如下提示： [root@test nutch-1.3]# bin/nutch Usage: nutch [-core] COMMAND where

网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。 搜 索引擎架构在ElasticSearch之上，是一个典型的分布式在线实时交互查询架构，无单点故障，高伸缩、高可用。对大量信息的索引与搜索都可以在近 乎实时的情况下完成，能够快速实时搜索数十亿的文件以及PB级的数据，同时提供了全方面的选项，可以对该引擎的几乎每个方面进行定制。支持RESTful 的API，可以使用JSON通过HTTP调用它的各种功能，包括搜索、分析与监控。此外，还为Java、PHP、Perl、Python以及Ruby等各 种语言提供了原生的客户端类库。 网络爬虫通过将抓取到的数据进行结构化提取之后提交给搜索引擎进行索引，以供查询分析使用。由于搜索引擎的设计目标在于近乎实时的复杂的交互式查询，所以搜索引擎并不保存索引网页的原始内容，因此，需要一个近乎实时的分布式数据库来存储网页的原始内容。 分布式数据库架构在Hbase+Hadoop之上，是一个典型的分布式在线实时随机读写架构。极强的水平伸缩性，支持数十亿的行和数百万的列，能够对网络爬虫提交的数据进行实时写入，并能配合搜索引擎，根据搜索结果实时获取数据。 网 络爬虫

搜索引擎的标准定义 ：搜索引擎（Search Engine）是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。从上述定义中我们可以获得几个有关 搜索引擎的关键步骤 ，分别为： 搜集信息；组织和处理信息；展示信息。 1. 搜索引擎分类 1）全文搜索引擎 全文搜索引擎是从网站提取信息从而构建网页数据库的。 全文搜索引擎的是如何搜集网站的呢？其实这里一般有两种方法： 　　1> 搜索引擎定期派出网络爬虫(也成为是蜘蛛或者机器人)，对互联网中的网站进行检索，一旦发现有新的网站就会自动抽取其信息，然后加入到自己的数据库中； 　　2> 网站拥有者主动向搜索引擎提交自己的网站信息，但是主动提交网站并不能一定确保自己的网站会被搜索引擎收录，网站拥有者可以通过外链来提升自己网站的受关注度（这属于SEO的知识了）。 　　全文搜索引擎如何展示查询结果？ 　　当用户输入查询词（query）查询时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度、出现的位置、频次、链接质量——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。 2）目录搜索引擎 目录搜索引擎主要是按类目对网站进行收录，而且在查询时也不需要输入关键词

Elasticsearch 是什么 Elasticsearch是一个基于 Apache Lucene(TM) 的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 但是 lucene 只是一个库 是java开发的 所以你必须用java语言开发。并且 lucene 非常的复杂 你需要深入了解 lucene Elasticsearch 也是 用Java开发的是基于Lucene 开发的当为核心 实现索引和 搜索 ，它是通过 REST API 来隐藏Lucene的 复杂让全文检索更为简单 不过 Elasticsearch 不仅仅 有Lucene 的全文搜索 还可 这样说 分布式实时文件存储，每个字段都被索引并可被搜索 分布式实时分析搜索引擎 可扩展百台服务器，处理PB级结构化或非结构化数据 而且，所有的这些功能被集成到一个服务里面，你的应用可以通过简单的 RESTful API 、各种语言的客户端甚至命令行与之交互。 上手Elasticsearch非常容易。它提供了许多合理的缺省值，并对初学者隐藏了复杂的搜索引擎理论。它开箱即用（安装即可使用），只需很少的学习既可在生产环境中使用。 Elasticsearch在 Apache 2 license 下许可使用，可以免费下载、使用和修改。 随着你对Elasticsearch的理解加深

solr中文搜索倒排索引和数据存储结构 solr中文索引倒排索引和数据存储结构 传统的方式（正排索引）是从关键点出发，然后再通过关键点找到关键点代表的信息中能够满足搜索条件的特定信息，既通过KEY寻找VALUE。而Lucene的搜索则是采用了倒排索引的方式，即通过VALUE找KEY。而在中文全文搜索中VALUE就是我们要搜索的单词，存放所有单词的地方叫词典。KEY是文档标号列表（通过文档标号列表我们可以找到出现过要搜索单词VALUE的文档） 正排索引从文档编号找词： 倒排索引是从词找文档编号： 当文档数据来临时，solr会首先对文档数据进行分词，创建索引库和文档数据库。所谓的分词是指：将一段字符文索引本按照一定的规则分成若干个单词。如下面两篇文档通过solr后如何产生分词存储： 文章中的标点符号可以直接过滤掉，像and、too可以直接过滤掉。形成的分词表表示： Lucene的倒排索引存储结构为：词项的字符串+词项的文档频率+记录词项的频率信息+记录词项的位置信息+跳跃偏移量。简单的理解可以形成以下结构: 分别表示词，词出现的文档编号，文档中出现的频率和文档中出现的位置。这样当我们对词进行搜索时，会找到该词出现过的所有文档的ID，然后再通过该文档的ID寻找文档的具体内容。 当然，Lucene词典中词的顺序是按照英文字母的顺序排列的，这样就可以采用压缩存储：假设有term

一、爬虫 网络爬虫的定义：自动的抓取互联网上的信息的程序或者脚本 （一）爬虫可以解决的问题 解决冷启动问题 搜索引擎的根基 建立知识图谱，帮助建立机器学习知识图谱 可以制作各种商品的比价软件，趋势分析 二、通用爬虫和聚焦爬虫 根据使用场景，网络爬虫分为通用爬虫和聚焦爬虫。 （一）通用爬虫 搜索引擎 搜索引擎的主要组成 通用爬虫：将互联网页面整体爬取下来后，保存在本地。（没有做数据清洗的） 通用爬虫要想爬取网页，需要网站的url，但是搜索引擎是可以搜索所有网页的。那么通用爬虫url就要涉及到所有网页。 搜索引擎如何获取url： 新网站向搜索引擎主动提交网址 在其它网站上设置新网站外链（尽可能处于搜索引擎的范围之内） 搜索引擎和DNS解析服务商（如DNSPod等）合作，新网站域名将被迅速抓取。 所有引擎的工作流程： 第一步：抓取网页 通过将待爬取的url加入到通用爬虫的url队列中，进行网页内容的爬取。 第二步：数据存储： 将爬取下来的网页保存到本地。这个过程中会有一定的去重操作。如果某个网页的内容大部分重复，搜索引擎可能不会保存。 第三步：预处理 提取文字 中文分词 消除噪音（比如版权声明文字、导航条、广告等） 索引处理 第四步：设置网站排名，为用提供检索服务（PageRank值） 搜索引擎的局限性： 搜索引擎只能爬取原网页，但是页面90%内容都是无用的。 搜索引擎不能满足不同行业

现代企业之所以都搭建自己的网站，主要目的就是建立企业和客户之间的关系，增加企业对外的形象。企业可以将自己的产品信息发布到网站，客户如果对产品感兴趣也会留下联系方式或主动联系企业，最后达成交易。但是，如果用于建站的服务器不稳定，对网站会带来怎样的影响呢?壹基比小喻来给你说说。 　　一般来讲，不稳定的服务器直接导致网站访问出现问题：慢或者打不开。从用户体验来看，网站访问慢或者打不开会直接降低用户的体验度;而从网站优化的角度来说，对搜索引擎不友好，会影响网站在搜索引擎中的排名，甚至会直接导致网站降权。 　　大家可以想一想，如果一个网站的服务器不稳定，导致用户在访问的时候经常打不开，或者反应速度慢。对于这情况，如果换做是你，你愿不愿意继续访问，等待响应。对于壹基比小喻来说，如果不是什么必须做的事，壹基比小喻可能就会直接关闭网站，可能以后都会很少访问，甚至不再访问。 　　当搜索引擎过来爬取你网站的内容时，如果服务器出现不稳定现象，那么就会给搜索引擎不好的印象。从而导致网站的关键词排名不稳定，文章的内容不被收录等，最为严重的很可能直接被搜索引擎认为这是个死网站，导致网站在搜索引擎中没有排名。 　　网站的权重是是搜索引擎给的，网站权重越高，在后期的网站改版中恢复网站的排名越有利。而搜索引擎赋予一个网站的权重最重要的一个判断就是网站的稳定性。如果一个网站的服务器不稳定