搜索引擎

如何更新删除搜索引擎网站快照或缓存？ 网站被黑客盯上，被挂马劫持篡改网页标题描述和关键字，黑客利用搜索引擎快照或缓存劫持流量。 又或者有时候我们网站有一些不想被搜索引擎收录的内容或者一些已经删除的文章被搜索引擎收录了。网上虽然有教程，但是每个教程只有一种搜索引擎收录的删除方法。而我们网站不可能只被一种搜索引擎收录，往往我们要删除多个搜索引擎收录的内容，每删除一种搜索引擎的收录我们便要去查找一种引擎收录删除的方法很不方便。老杨在这里为大家总结多种引擎收录删除的方法。包过百度搜索,搜狗搜索，360搜索，必应搜索，谷歌搜索。这些方法优爱酷都有去操作过，大家可以放心去使用。 删除被百度搜索收录的快照 方法一： 大家可以在百度搜索“百度用户服务中心”点击进入。 下拉找到“百度搜索”并点击进入。 再下拉找到“快照删除与更新”点击并进入。 输入你要删除的百度快照和你的邮箱，等一两天快照就删除了。 方法二： 到百度站长工具那边去进行死链提交。 死链只能删除404页面，如果想要删除不是死链的收录内容只能通过方法一。 删除被搜狗搜索收录的快照 方法一: 进入搜狗站长平台，下拉找到反馈中心，点击并进入。 进入反馈中心后，选择“快照删除/更细”，填写要删除的快照了解和联系邮箱。 等待一两天后，你要想要删除的快照就被删除了。 方法二： 和上面百度快照删除方法二一样。也是要进入站长平台进行死链的提交。

2019年9月以来，不少因为非法使用“爬虫”技术，而使公司面临诉讼，程序猿被警察带走的新闻震惊了IT圈的小伙伴们！ 我只是个写爬虫的，跟我有什么关系？ 许多程序员都有这样的想法，技术是无罪的，我只是个打工的程序员，公司干违法的业务，跟我没关系。。。只能说，程序猿们真是图样图森破了。 看到那么多爬虫导致公司触犯法律的新闻，有人开玩笑说，编写爬虫程序，就是“面向监狱编程”。 看个案例： 抓取用户社交数据，尤其是用户隐私相关。 （图片文字来自新浪网） 其实，“爬虫”只是一种技术，没有那么可怕如果使用技术来做非法的事情，自然就会有警察叔叔上门了。 今天老司机给大家讲一下爬虫的几个原理，以及怎么安全无忧地使用爬虫。 首先，网络爬虫（又称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 其次，网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型： • 通用网络爬虫（General Purpose Web Crawler） • 聚焦网络爬虫（Focused Web Crawler） • 增量式网络爬虫（Incremental Web Crawler） • 深层网络爬虫（Deep Web Crawler） 实际的网络爬虫系统通常是几种爬虫技术相结合实现的。由于商业原因，网络爬虫的技术细节很少公布出来。 所以，可以很安全地得出结论，普通编程爱好者

Elasticsearch 简介与原理 You know, for search! 文档 https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html Elasticsearch是一个基于Lucene库的搜索引擎 。 它提供了一个分布式、支持多用户的全文搜索引擎，具有HTTP Web接口和无模式JSON文档。所有其他语言可以使用 RESTful API 通过端口 9200 和 Elasticsearch 进行通信 Elasticsearch是用Java开发的 ，并在Apache许可证下作为开源软件发布。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。 根据DB-Engines的排名显示， Elasticsearch是最受欢迎的企业搜索引擎 ，其次是Apache Solr，也是基于Lucene。 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。 Elasticsearch是分布式的 ，这意味着索引可以被分成分片，每个分片可以有0个或多个副本。每个节点托管一个或多个分片，并充当协调器将操作委托给正确的分片。再平衡和路由是自动完成的。相关数据通常存储在同一个索引中

多吉搜索 https://www.dogedoge.com 这个引擎和某度不是一个概念 它相当干净，搜索到的内容全是精品！ 有几个特点： 不可能出现无用的推广内容 结果会优先排名官网地址 没有搜索记录、放心搜索！ 微软BING搜索 https://cn.bing.com/?FORM=BEHPTB 来源： https://www.cnblogs.com/ECJTUACM-1435867846/p/11900261.html

1、介绍 　　 Haystack是django的开源全文搜索框架(全文检索不同于特定字段的模糊查询，使用全文检索的效率更高 )，该框架支持 Solr , Elasticsearch , Whoosh , **Xapian 搜索引擎它是一个可插拔的后端（很像Django的数据库层），所以几乎你所有写的代码都可以在不同搜索引擎之间便捷切换。 2、各组件安装 ''' - 全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理。 - haystack： 　　django的一个包，可以方便地对model里面的内容进行索引、搜索，设计为支持whoosh,solr,Xapian,Elasticsearch四种全文检索引擎后端，属于一种全文检索的框架。 - whoosh： 　　纯Python编写的全文搜索引擎，虽然性能比不上sphinx、xapian、Elasticsearc等，但是无二进制包，程序不会莫名其妙的崩溃，对于小型的站点，whoosh已经足够使用。 - jieba： 　　一款免费的中文分词包，如果觉得不好用可以使用一些收费产品。 ''' 二 Haystack安装 # pip install django-haystack # pip install whoosh # pip install jieba 三 Haystack的安装配置 1

HTML标签 在HTML结构代码中可以看到非常多的 <> ，这就是html的标签。整块html代码几乎就是由各种各样的标签与标签内容构成，每一个标签对应一个网页上的一个小模块，如一段文字1，一张图片。对于一个网页来说，学习一些常用的标签，90%的网站都可以慢慢搭建出来。 head标签的组成 meta meta标签共有两个属性，它们分别是http-equiv属性和name属性，不同的属性又有不同的参数值，这些不同的参数值就实现了不同的网页功能。 http-equiv 在html4.01版本中，我们使用下面配置来规定HTML 文档的字符编码。 <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> 但在html5版本中，我们使用更简化的方式来规定HTML 文档的字符编码。 <meta charset="UTF-8"> 我们用meta标签可以声明当前这个html文档的字库，但是一定要和保存的类型一样，否则乱码！ name 主要用于页面的关键字和描述，是写给搜索引擎看的，关键字可以有多个用 ‘,’号隔开，与之对应的属性值为content，content中的内容主要是便于搜索引擎机器人查找信息和分类信息用的。 <meta name="Keywords" content="腾讯,邮箱,游戏,新闻,体育,娱乐,论坛

1、搜索标题含有关键字的预防 intitle:"tp5教程" --搜索标题含有tp5教程相关信息。 intitle: tp5教程 --tp5 和教程的关键字可能分开。 2、搜索链接当中含有thinkphp的链接 inurl:thinkphp 3、组合使用，链接当中含有thinkphp 并且标题含有tp5的关键字 intile:"tp5教程" inurl:thinkphp 4、搜索文件为.pdf语法 filetype:pdf intitle "tp5教程" filetype ppt 5、搜索指定某个网站含有的"tp5教程"的内容 "tp5教程" site:www.cnblogs.com 来源： https://www.cnblogs.com/betobe/p/11871416.html

根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种. 通用爬虫 通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 通用搜索引擎（Search Engine）工作原理 通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。 第一步：抓取网页 搜索引擎网络爬虫的基本工作流程如下： 首先选取一部分的种子URL，将这些URL放入待抓取URL队列； 取出待抓取URL，解析DNS得到主机的IP，并将URL对应的网页下载下来，存储进已下载网页库中，并且将这些URL放进已抓取URL队列。 分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环.... 索引擎如何获取一个新网站的URL： 1. 新网站向搜索引擎主动提交网址：（如百度 http://zhanzhang.baidu.com/linksubmit/url ） 2. 在其他网站上设置新网站外链（尽可能处于搜索引擎爬虫爬取范围） 3. 搜索引擎和DNS解析服务商(如DNSPod等）合作，新网站域名将被迅速抓取。

网站url 网站创建具有良好描述性、规范、简单的url，有利于用户更方便的记忆和判断网页的内容，也有利于搜索引擎更有效的抓取您的网站。网站设计之初，就应该有合理的url规划。 处理方式： 1.在系统中只使用正常形式url，不让用户接触到非正常形式的url。 2.不把session id、统计代码等不必要的内容放在url中。 3.不同形式的url，301永久跳转到正常形式。 4.防止用户输错而启用的备用域名，301永久跳转到主域名。 5.使用robots.txt禁止Baiduspider抓取您不想向用户展现的形式。 title信息 网页的title用于告诉用户和搜索引擎这个网页的主要内容是什么，而且当用户在百度网页搜索中搜索到你的网页时，title会作为最重要的内容显示在摘要中。 搜索引擎在判断一个网页内容权重时，title是主要参考信息之一。 描述建议： 1.首页：网站名称 或者 网站名称_提供服务介绍or产品介绍 。 2.频道页：频道名称_网站名称。 3.文章页：文章title_频道名称_网站名称。 需要注意： 1.标题要主题明确，包含这个网页中最重要的内容。 2.简明精练，不罗列与网页内容不相关的信息。 3.用户浏览通常是从左到右的，重要的内容应该放到title的靠前的位置。 4.使用用户所熟知的语言描述。如果你有中、英文两种网站名称，尽量使用用户熟知的那一种做为标题描述。

四、抓取网页，建立solr索引 在抓取网页前，要保证起点R3处在运行状态。即 在浏览器中键入 http://127.0.0.1:880/ 后，会出现如下窗口： 在linux或cygwin中运行nutch抓取网页命令为 ：bin/nutch crawl url -solr http://127.0.0.1:880 -dir test -depth 3 -topN ，其dir、depth、topN参数的含义网上介绍有很多，在这里不做解释。参数solr表示将抓取后的网页solr索引到一个提供solr服务的服务器索引库中，这里的127.0.0.1是指当nutch和起点R3都安装在同一台机器上，如果两者不在同一台机器上，这里的127.0.0.1要改成起点R3机器的IP。 在eclipse环境里，先在apache-nutch-1.3的项目里建立一个main类 为org.apache.nutch.crawl.Crawl的java运行应用程序，如下图： 对应的自变量设置为： 点击“运行”后，最后，在eclipse的控制台出现： 表示网页抓取和solr索引建立完毕。这时，可以在浏览器上通过起点R3的查询界面，实现对抓取的页面进行搜索了。如下图： 五、总结 nutch与起点R3集成，其实与nutch和solr集成实现原理是一样：1.定义solr的索引字段