搜索引擎技术

搜索引擎的索引 1.单词——文档矩阵 单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图3-1展示了其含义。图3-1的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。 图3-1 单词-文档矩阵 从纵向即文档这个维度来看，每列代表文档包含了哪些单词，比如文档1包含了词汇1和词汇4，而不包含其它单词。从横向即单词这个维度来看，每行代表了哪些文档包含了某个单词。比如对于词汇1来说，文档1和文档4中出现过单词1，而其它文档不包含词汇1。矩阵中其它的行列也可作此种解读。 搜索引擎的索引其实就是实现“单词-文档矩阵”的具体数据结构。可以有不同的方式来实现上述概念模型，比如“倒排索引”、“签名文件”、“后缀树”等方式。但是各项实验数据表明，“倒排索引”是实现单词到文档映射关系的最佳实现方式，所以本章主要介绍“倒排索引”的技术细节。 2.倒排索引基本概念 文档(Document)：一般搜索引擎的处理对象是互联网网页，而文档这个概念要更宽泛些，代表以文本形式存在的存储对象，相比网页来说，涵盖更多种形式，比如Word，PDF，html，XML等不同格式的文件都可以称之为文档。再比如一封邮件，一条短信，一条微博也可以称之为文档。在本书后续内容，很多情况下会使用文档来表征文本信息。 文档集合(Document Collection)：由若干文档构成的集合称之为文档集合

SQL注入详解 转发自 飞天小子 如有侵权请联系删除 1：什么是SQL注入 SQL注入是一种将SQL代码插入或添加到应用(用户)的输入参数中的攻击，之后再将这些参数传递给后台的SQL服务器加以解析并执行。 www.xx.com/news.php?id=1 www.xx.com/news.php?id=1 and 1=1 这里我们来理解一下SQL注入 首先，SQL注入常年蝉联OWASP排行榜第一名~ SQL注入产生的过程是怎样的呢？见下图 SQL注入的危害有哪些呢？ 　　数据库信息泄露 　　网页篡改 　　网站被挂马 　　数据库被恶意操作 　　服务器被远程控制 　　破坏硬盘数据。。。。 2 我们来学习一下sql注入的方法 2.1取消友好HTTP错误消息 一般通过远程测试判断是否存在SQL注入，所以通常没有机会通过查看源代码来复查注入的查询结构。这导致经常需要通过推理来进行大量测试 　　打开IE浏览器，选择菜单“工具”->“Internet选项”对话框。 　　打开“高级”选项卡，在设置列表中找到“浏览”组， 　　取消勾选”显示友好HTTP错误信息”复选框 。如下图 2.2寻找SQL注入 最常用的SQL注入判断方法，在网站中寻找如下形式的网页 　　www.chinaliancheng.com/*.asp?id=1 　　 www.chinaliancheng.com/*.aspx?id=1

1.Solr安装与配置 1.1Solr简介 大多数搜索引擎应用都必须具有某种搜索功能，问题是搜索功能往往是巨大的资源消耗并且它们由于沉重的数据库加载而拖垮你的应用的性能。 这就是为什么转移负载到一个外部的搜索服务器是一个不错的主意，Apache Solr是一个流行的开源搜索服务器，它通过使用类似REST的HTTP API，这就确保你能从几乎任何编程语言来使用solr。 Solr是一个开源搜索平台，用于构建搜索应用程序。 它建立在Lucene(全文搜索引擎)之上。 Solr是企业级的，快速的和高度可扩展的。 使用Solr构建的应用程序非常复杂，可提供高性能。 为了在CNET网络的公司网站上添加搜索功能，Yonik Seely于2004年创建了Solr。并在2006年1月，它成为Apache软件基金会下的一个开源项目。并于2016年发布最新版本Solr 6.0，支持并行SQL查询的执行。 Solr可以和Hadoop一起使用。由于Hadoop处理大量数据，Solr帮助我们从这么大的源中找到所需的信息。不仅限于搜索，Solr也可以用于存储目的。像其他NoSQL数据库一样，它是一种非关系数据存储和处理技术。 总之，Solr是一个可扩展的，可部署，搜索/存储引擎，优化搜索大量以文本为中心的数据。 1.2 Solr安装 1：下载 Tomcat，解压Tomcat压缩包即可。 2：解压 solr。

1.Solr安装与配置 1.1Solr简介 大多数搜索引擎应用都必须具有某种搜索功能，问题是搜索功能往往是巨大的资源消耗并且它们由于沉重的数据库加载而拖垮你的应用的性能。 这就是为什么转移负载到一个外部的搜索服务器是一个不错的主意，Apache Solr是一个流行的开源搜索服务器，它通过使用类似REST的HTTP API，这就确保你能从几乎任何编程语言来使用solr。 Solr是一个开源搜索平台，用于构建搜索应用程序。 它建立在Lucene(全文搜索引擎)之上。 Solr是企业级的，快速的和高度可扩展的。 使用Solr构建的应用程序非常复杂，可提供高性能。 为了在CNET网络的公司网站上添加搜索功能，Yonik Seely于2004年创建了Solr。并在2006年1月，它成为Apache软件基金会下的一个开源项目。并于2016年发布最新版本Solr 6.0，支持并行SQL查询的执行。 Solr可以和Hadoop一起使用。由于Hadoop处理大量数据，Solr帮助我们从这么大的源中找到所需的信息。不仅限于搜索，Solr也可以用于存储目的。像其他NoSQL数据库一样，它是一种非关系数据存储和处理技术。 总之，Solr是一个可扩展的，可部署，搜索/存储引擎，优化搜索大量以文本为中心的数据。 1.2 Solr安装 1：下载 Tomcat，解压Tomcat压缩包即可。 2：解压 solr。

Elasticsearch简介 * Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。 它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。 Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。 但是Lucene只是一个框架，要充分利用它的功能，需要使用JAVA，并且在程序中集成Lucene。需要很多的学习了解，才能明白它是如何运行的，Lucene确实非常复杂。 Elasticsearch使用Lucene作为内部引擎，但是在使用它做全文搜索时，只需要使用统一开发好的API即可，而不需要了解其背后复杂的Lucene的运行原理。 当然Elasticsearch并不仅仅是Lucene这么简单，它不但包括了全文搜索功能，还可以进行以下工作: 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。 这么多的功能被集成到一台服务器上，你可以轻松地通过客户端或者任何你喜欢的程序语言与ES的RESTful API进行交流。 Elasticsearch的上手是非常简单的。它附带了很多非常合理的默认值

一、web标准 web准备介绍： w3c：万维网联盟组织，用来制定web标准的机构（组织） web标准：制作网页遵循的规范 web准备规范的分类：结构标准、表现标准、行为标准。 结构：html。表示：css。行为：Javascript。 web准备总结： 结构标准：相当于人的身体。html就是用来制作网页的。 表现标准： 相当于人的衣服。css就是对网页进行美化的。 行为标准： 相当于人的动作。JS就是让网页动起来，具有生命力的 二、浏览器介绍 浏览器是网页运行的平台，常用的浏览器有IE、火狐（Firefox)、谷歌（Chrome）、猎豹浏览器、Safari和Opera等 浏览器内核： 浏览器 　内核 IE trident chrome blink 火狐 gecko Safari webkit PS：「浏览器内核」也就是浏览器所采用的「渲染引擎」，渲染引擎决定了浏览器如何显示网页的内容以及页面的格式信息。 渲染引擎是兼容性问题出现的根本原因。 三、开发工具介绍 Sublime Text的使用 参考链接： Sublime Text使用技巧 四、HTML介绍 1、HTML的概述 html全称HyperText Mackeup Language，翻译为超文本标记语言，它不是一种编程语言，是一种描述性的标记语言，用于描述超文本内容的显示方式。比如字体、颜色、大小等。 超文本：音频，视频

一，学习目的 获取想要的知识 二，环境配置和基础知识铺垫 1.pycharm 的安装和简单使用 ide : pycharm 数据库：mysql ， redis , elasticsearch 开发环境：virtualenv 2.mysql 和navicat的安装和使用 windows下安装python 虚拟环境的安装和配置 3级标题 爬取真实数据 Scrapy 突破反爬虫技术 Scrapy进阶开发 Scrapy redis分布式爬虫 elasticsearch django 实现搜索引擎 2级标题 来源： CSDN 作者： shlshlshk 链接： https://blog.csdn.net/shlshlshk/article/details/104095728

搜索引擎选择： Elasticsearch与Solr 搜索引擎选型调研文档 Elasticsearch简介 * Elasticsearch是一个 实时 的 分布式 搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。 它可以用于 全文搜索 ， 结构化搜索 以及 分析 ，当然你也可以将这三者进行组合。 Elasticsearch是一个 建立在全文搜索引擎 Apache Lucene™ 基础上 的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。 但是Lucene只是一个框架，要充分利用它的功能，需要使用JAVA，并且在程序中集成Lucene。需要很多的学习了解，才能明白它是如何运行的，Lucene确实非常复杂。 Elasticsearch使用Lucene作为内部引擎，但是在使用它做全文搜索时，只需要使用统一开发好的API即可，而不需要了解其背后复杂的Lucene的运行原理。 当然Elasticsearch并不仅仅是Lucene这么简单，它不但包括了全文搜索功能，还可以进行以下工作: 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。 这么多的功能被集成到一台服务器上，你可以轻松地通过客户端或者任何你喜欢的程序语言与ES的RESTful API进行交流

网络爬虫技术总结 http://mp.weixin.qq.com/s?__biz=MzI3MTI2NzkxMA==&mid=2247484132&idx=1&sn=8db587fabc3c630decf0419b6130770e&scene=23&srcid=0720ZByjAlOM9YC5c76N9uKU#rd 　　对于大数据行业，数据的价值不言而喻，在这个信息爆炸的年代，互联网上有太多的信息数据，对于中小微公司，合理利用爬虫爬取有价值的数据，是弥补自身先天数据短板的不二选择，本文主要从爬虫原理、架构、分类以及反爬虫技术来对爬虫技术进行了总结。 1、爬虫技术概述 网络爬虫(Web crawler)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL

1.搜索引擎优化 为了从搜索引擎中获得更多的流量，从网站结构、内容建设方案、用户互动传播和页面等角度进行合理规划，使搜索引擎中显示的网站相关信息对用户来说具有吸引力，以获得在搜索引擎上的优势排名为网站引入流量，为网站提供生态式的自我营销解决方案。 2.网络广告 网络广告是一种有效的网络营销方式。网络广告的形式包括网页广告、媒体视频广告、网络软文等，相比传统媒体广告，网络广告的投入费用较低，可以通过覆盖率和频次帮助企业迅速树立品牌。 3.微信公众号 企业能够通过微信公众号向用户推送与企业相关的信息，同时也可以与其他公众号合作进行资源互换，获取更多的用户。企业在利用微信进行网络营销时，并不局限于开通企业公众号的形式，更可以与一些拥有大量粉丝的非商家公众号合作，通过植入营销达到产品推广的目的。 网络营销的方法还有很多，随着科技的进步，营销策略也变得多样化，在未来的发展趋势下，线上线下渠道必将走向融合，线上拓展品牌影响力，线下进行用户体验。企业要想做好营销，就应该利用互联网的技术，优化营销策略，弥补传统网络营销的不足，从而达到更好的营销效果。 来源： CSDN 作者： zx11082221 链接： https://blog.csdn.net/zx11082221/article/details/103484815