搜索引擎

  搜索引擎，平日里都有接触到，想=像谷歌、百度、搜狗等等，都属于搜索引擎的一种。但是从来没有系统地学习过搜索引擎，今天是第一次接触到搜索引擎系列的课程，由于疫情的影响，被迫只能上网课了。 大声逼逼：武汉加油！中国加油 大声逼逼：武汉加油！中国加油 大声逼逼：武汉加油！中国加油   在学习搜索引擎之前，我们需要知道，什么是搜索引擎？百度百科给出的解释是： 所谓搜索引擎，就是根据用户需求与一定算法，运用特定策略从互联网检索出制定信息反 馈给用户的一门检索技术。搜索引擎依托于多种技术，如网络爬虫技术、检索排序技术、 网页处理技术、大数据处理技术、自然语言处理技术等，为信息检索用户提供快速、高相 关性的信息服务。搜索引擎技术的核心模块一般包括爬虫、索引、检索和排序等，同时可 添加其他一系列辅助模块，以为用户创造更好的网络使用环境。   至于为什么要有搜索引擎，我就不一一赘述了。 什么是信息？ 从客观上看，信息是一切事物存在方式和运动规律的表征。 从主观上看，信息是指人们对世界的认识所形成的各种只是、学问、消息。 数据和信息有什么区别？ 数据和信息之间是相互联系的。数据是反映客观事物属性的记录，是信息的具体表现形式。数据经过加工处理之后，就成为信息；而信息需要经过数字化转变成数据才能存储和传输。 从信息论的观点来看，描述信源的数据是信息和数据冗余之和，即：数据=信息+数据冗余。

shodan shodan网络搜索引擎偏向网络设备以及服务器的搜索，具体内容可上网查阅，这里给出它的高级搜索语法。 地址： https://www.shodan.io/ 搜索语法 hostname：　　搜索指定的主机或域名，例如 hostname:”google” port：　　搜索指定的端口或服务，例如 port:”21” country：　　搜索指定的国家，例如 country:”CN” city：　　搜索指定的城市，例如 city:”Hefei” org：　　搜索指定的组织或公司，例如 org:”google” isp：　　搜索指定的ISP供应商，例如 isp:”China Telecom” product：　　搜索指定的操作系统/软件/平台，例如 product:”Apache httpd” version：　　搜索指定的软件版本，例如 version:”1.6.2” geo：　　搜索指定的地理位置，例如 geo:”31.8639, 117.2808” before/after：　　搜索指定收录时间前后的数据，格式为dd-mm-yy，例如 before:”11-11-15” net：　　搜索指定的IP地址或子网，例如 net:”210.45.240.0/24” censys censys搜索引擎功能与shodan类似，以下几个文档信息。 地址： https://www

对于一个网站的结构来说，URL的设计也非常的重要，在URL设计时我们应该事先做好规划，应该从用户体验和搜索引擎蜘蛛体验出发，在总体上边应该做到URL清晰、友好、方便记忆，然后还要适当的考虑对于搜索引擎排名的影响，具体来说，URL设计时我们要从下边几点来着手： 1、URL越短越好 这样做主要是为了用户体验，其实对于搜索引擎来说，不超过1000个字母都没有问题，可是如果不考虑用户体验，确实真的用了非常长的URL的话，用户看起来就有些麻烦了，甚至会马上离开你的网站，曾经有人做过这方面的试验，在搜索引擎的搜索结果中，一个较短的URL出现在一个较长的URL下边时，较短的URL的点击率是较长的URL的2.5倍。而且较短的URL也比较有利于复制与传播。人们都比较喜欢简单的东西，特别是现代，人们不喜欢太复杂的东西，能简单就简单。所以网站的URL要尽量的短。 2、URL中避免太多参数 在进行URL设计时，我们尽量使用静态的URL，虽然现代的主流搜索引擎都能够很好的去索引带有参数的动态网页了，可是，使用静态的URL还是有一定的优势的，如果由于某些原因，不能使用静态的URL，而不得不使用动态的URL时，设计的则是URL中的参数应该尽量减少，不要超过三个，一般的情况下URL中的参数2-3个就可以了。参数太多了不但用户看起来困难，对搜索引擎的索引可能也会造成一定的问题。所以，能使用静态就使用静态的URL

这是本博客系列文章的导航 1. 有趣好玩的python小项目 用mnist数据集训练的手写数字识别 2. 基于Django的教育培训CRM系统 教育培训CRM系统（一）：表结构设计 教育培训CRM系统（二）：登录与注册 教育培训CRM系统（三）：客户列表展示 教育培训CRM系统（四）：分页 crm项目源码: https://github.com/winstonfy/Winston_crm 3. 基于Django的线上果蔬商城 线上果蔬商城（一）：需求分析 线上果蔬商城（二）：表结构设计 3. 基于Django的网课平台（前后端分离） 4. 基于scrapy-elasticsearch的搜索引擎 基于scrapy的搜索引擎（一）：爬虫知识回顾 基于scrapy的搜索引擎（二）：爬取图片网站 基于scrapy的搜索引擎（三）：爬取问答网站 基于scrapy的搜索引擎（四）：爬取招聘网站 基于scrapy的搜索引擎（五）：反爬突破 基于scrapy的搜索引擎（六）：爬虫进阶 基于scrapy的搜索引擎（七）：scrapy-redis分布式爬虫 基于scrapy的搜索引擎（八）：elasticsearch的使用 基于scrapy的搜索引擎（九）：Django搭建搜索网站 基于scrapy的搜索引擎（十）：scrapyd部署scrapy项目 5. 基于Flask的移动端租房商城（前后端分离）

一、爬虫的定义 定义：程序或者脚本，自动爬取万维网的数据的程序或者脚本 二、爬虫可以解决的问题 解决冷启动的问题 搜索引擎的根基，（通用爬虫） 帮助机器学习建立知识图谱 制作各种比价软件 三、爬虫工程师 初级爬虫工程师 web前端的知识：HTML、CSS、JavaSc1ipt、 DOM、 DHTML 、Ajax、jQuery、json 等； 正则表达式， 能提取正常一般网页中想要的信息，比如某些特殊的文字， 链接信息， 知道什么是懒惰， 什么是贪婪型的正则； 会使用 XPath 等获取一些DOM 结构中的节点信息； 知道什么是深度优先， 广度优先的抓取算法， 及实践中的使用规则； 能分析简单网站的结构， 会使用urllib或requests 库进行简单的数据抓取。 中级爬虫工程师 了解什么是Hash，会简单的使用MD5，sha1等算法对数据进行Hash一遍存储 熟悉HTTP，HTTPS协议的基础知识，了解GET，POST方法，了解HTTP头中的信息，包括返回状态码，编码，user-agent，cookie，session等 能设置user-agent进行数据爬取，设置代理等 知道什么是Request，什么是response，会使用Fiddler等工具抓取及分析简单地网络数据包；对于动态爬虫，要学会分析ajax请求，模拟制造post数据包请求，抓取客户端session等信息

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <title>要挑 - 就是要，挑好的。</title> <meta name="keywords" content="要挑，要挑APP，要挑官网，要挑购物，要挑会员，要挑客服" /> <meta name="description" content="要挑以“生活，就是要，挑好的”为理念，秉承严谨的态度，严控各个生产环节，优选产品，为用户提供母婴玩具、家居日用、美妆个护、新鲜美食等品类精选商品。为用户提供富质感的产品和服务，优化线上购物体验，提升用户生活幸福感。" /> <meta name="renderer" content="webkit"> 1、Keywords (关键字) 　　　说明：为搜索引擎提供的关键字列表 　　　用法：<Meta name="Keywords" Content="关键词1,关键词2，关键词3,关键词4,……"> 　　　注意：各关键词间用英文逗号“,”隔开。META的通常用处是指定搜索引擎用来提高搜索质量的关键词。当数个META元素提供文档语言从属信息时，搜索引擎会使用lang特性来过滤并通过用户的语言优先参照来显示搜索结果。例如： 　　　　　　<Meta name="Kyewords" Lang="EN"

官方解释： 301 代表永久性转移 302 代表暂时性转移 共同点： 301和302状态码都表示重定向，就是说浏览器在拿到服务器返回的这个状态码后会自动跳转到一个新的URL地址，这个地址可以从响应location首部中获取（用户看到的效果就是他输入的地址A瞬间变成了另一个地址B）—这是他们的共同点 不同点： 301表示旧地址A的资源已经被永久性移除了（这个资源不可访问了），搜索引擎在抓取新内容的同时也就将旧的网址交换为重定向之后的网址； 302表示旧地址A的资源还在（仍然可以访问），这个重定向只是临时从旧地址A跳转到地址B，搜索引擎会抓取新的内容而保存旧的网址。 常见应用场景： 场景一：想换个域名，旧的域名不用了，这样用户访问旧域名时用301就重定向到新的域名。其实也是告诉搜索引擎收录的域名需要对新的域名进行收录。 场景二： 登录后重定向到指定的页面，这种场景比较常见的就是登陆成功跳转到具体的系统页面。 场景三：有时候需要自动刷新页面，比如5秒后自动返回到订单详细页面之类。 场景四：有时系统进行升级或者切换某些功能时需要临时更换地址。 场景五：像微博之类的使用短域名，用户浏览后需要重定向到真实的地址之类。 301与302在选择上注意的问题–302重定向和网址劫持 从网址A 做一个302 重定向到网址B 时，主机服务器的隐含意思是网址A 随时有可能改主意

搜索资源网站 学习技术过程我们经常需要使用搜索引擎来检索资料，国内常用的也就是某度了。 当然有条件的话，搜索引擎首先还是推荐使用 Google，如果没办法使用，可以使用以下几个作为备用： Bing Bing 国际版：https://cn.bing.com/ 比某度好用，之前还被停用了几天，最近可以了。 DuckDuckGo DuckDuckGo：https://duckduckgo.com/ 从官网的介绍来看这个搜索引擎不收集用户信息，而且没有广告。 Stack Overflow Stack Overflow：https://stackoverflow.com/ 我们如果常用 Google，很多技术问题的答案就在这个网站上，如果你无法使用 Google 可以在这个网站上直接检索就好了。 Gitlogs Gitlogs：https://www.gitlogs.com/ Gitlogs 是专门针对 GitHub 项目的搜索引擎，我们通过他可以快速找到想要项目。 jiumo search 文档搜索引擎 jiumo search 鸠摩搜书：https://www.jiumodiary.com/ 可以用来找一些技术文档手册，很多在百度网盘里。 Ebooke Ebooke：https://ebookee.org/ Ebookee 是一个基于互联网并提供免费电子图书下载的搜索引擎网站。

根据We Are Social和Hootsuite的2018年全球数字新报告，全球互联网用户数量刚刚超过40亿，比2017年增长7％。人们正在以前所未有的速度转向互联网，我们在互联网上做的很多行为产生了大量的“用户数据”，比如评论，微博，购买记录等等。这一点也不奇怪，互联网目前是分析市场趋势，监视竞争对手或者获取销售线索的最佳场所，数据采集以及分析能力已成为驱动业务决策的关键技能。 而网络爬虫则是 数据采集的主要方法 。 下面具体为大家介绍网络爬虫，以及作用有哪些？如何构建？ 一、什么是网络爬虫？ 网络爬虫是一种互联网机器人，它通过爬取互联网上网站的内容来工作。 它是用计算机语言编写的程序或脚本，用于自动从Internet上获取任何信息或数据。机器人扫描并抓取每个所需页面上的某些信息，直到处理完所有能正常打开的页面。 网络爬虫大致有4种类型的结构： 通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫 。 1、通用Web爬虫 通用网络爬虫所爬取的目标数据是巨大的，并且爬行的范围也是非常大的，正是由于其爬取的数据是海量数据，故而对于这类爬虫来说，其爬取的性能要求是非常高的。 主要应用于大型搜索引擎中，有非常高的应用价值。 或者应用于大型数据提供商。 2、聚焦网络爬虫 聚焦网络爬虫是按照预先定义好的主题有选择地进行网页爬取的一种爬虫

随着互联网的迅速发展，网络数据资源呈爆发式增长，信息需求者如何从网络中提取信息变得更加重要。如今，有效地获取网络数据资源地方式，便是网络爬虫。网络爬虫又成为网络蜘蛛或者Web信息采集器，是一种按照指定规则，自动抓取或下载网络资源的计算机程序或自动化脚本。 网络爬虫狭义上的理解 ：利用标准网络协议(如HTTP、HTTPS等)，根据网络超链接和信息检索方法(如深度优先)遍历网络数据的软件程序。 网络爬虫功能上的理解 ：确定待采集的URL队列，获取每个URL对应的网页内容(如HTML和JSON等)，根据用户要求解析网页中的字段(如标题)，并存储解析得到的数据。 网络爬虫技术在搜索引擎中扮演者信息采集器的角色，是搜索引擎模块中的最基础不分。例如，我们常用的搜索引擎谷歌、百度、必应都采用网页爬虫技术采集海量的互联网数据。搜索引擎的大致结构分为如下几步。第一步，利用网络爬虫技术自动化地采集互联网中的网页信息。第二步，存储采集的信息。在存储过程中，往往需要检测重复内容，从而避免大量重复信息的采集；同时，网页之间的链接关系也需要存储，原因是链接关系可用来计算网页内容的重要性。第三步，数据预处理操作，即提取文字、分词、消除噪音以及链接关系计算等。第四步，对预处理的数据建立索引库，方便用户快速查找，常用的索引方法有后缀数组、签名文件和倒排文件。第五步，基于用户检索的内容(如用户输入的关键词)