scrapy

scrapy简介 Scrapy是一个用于抓取web站点和提取结构化数据的应用框架，它可用于广泛的有用应用，如数据挖掘、信息处理或历史存档。 可以参考scrapy的 英文文档 或者 中文文档 整体的架构大致如下： scrapy框架由scrapy引擎（scrapy engine）、调度器（scheduler）、下载器（downloader）、蜘蛛（spider）以及项目管道（item pipeline）组成。 工作流程大致如下： 首先scrapy引擎向调度器发送请求，调度器从url队列中取出一个url交给下载器，其次下载器向对应的服务器发送请求，得到响应后将下载网页内容，然后下载器把下载的网页内容交给蜘蛛进行解析，接着如果爬取到数据，则将数据交给项目管道进行加工处理，如果爬取到新的url，则保存在url队列中，进行新一轮的爬取。 五大组件及其中间件的功能如下： Scrapy引擎：Scrapy引擎相当于指令控制中心，控制整个系统的数据处理流程，触发事务处理流程，负责与各个模块进行通信； Scheduler（调度器）：维护待爬取的URL队列，当接受引擎发送的请求时，会从待爬取的URL队列中取出下一个URL返回给调度器。 Downloader（下载器）：向对应的服务器发送下载页面的请求，用于下载网页内容，并把下载的网页内容交给蜘蛛处理。 Spiders（蜘蛛）：制定要爬取的网站地址

目录 内容简介 第一章 爬虫简介 1.1 什么是网络爬虫 1.1.1 爬虫的简单定义 1.1.2 爬虫的分类 1.2 为什么需要爬虫 1.2.1 爬虫的用途 1.2.2怎么做爬虫 第二章 爬虫的基本常识 2.1 爬虫的合法性问题 2.2 爬虫的准备工作：网站的背景调研 2.2.1 robots协议 2.2.2 网站地图sitemap 2.2.3 估算网站的大小 2.2.4 识别网站用了何种技术 2.2.5 寻找网站的所有者 第三章 简单爬虫的实现 3.1 可能是史上最简单的爬虫Demo 3.2 回顾一下HTTP，HTTPS协议 3.3关于爬虫抓取的策略 3.3.1 深度优先算法 3.3.2 广度/宽度优先算法 3.4.3 实践中怎么来组合抓取策略 第四章 提取网页中的信息 4.1 数据的类型 4.1.1结构化数据 4.1.2半结构化数据 4.1.3非结构化数据 4.2 关于XML，HTML，DOM和JSON文件 4.2.1 XML, HTML, DOM 4.2.2 JSON文件 4.3 怎么提取网页中的信息 4.3.1 XPath与lxml 4.3.2 BeautifulSoup4 4.3.3 正则表达式re 第五章 动态网页的挑战 5.1 动态网页的使用场景 5.2 回到与HTTP服务器发送请求数据的原始方法 5.2.1 GET方法 5.2.2 POST方法 5.3

一些较为高效的Python爬虫框架。分享给大家。 零基础一小时学会Python爬虫 1.Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。 项目地址： https://scrapy.org/ 2.PySpider pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。 项目地址： https://github.com/binux/pyspider 3.Crawley Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。 零基础一小时学会Python爬虫 项目地址： http://project.crawley-cloud.com/ 4.Portia Portia是一个开源可视化爬虫工具，可让您在不需要任何编程知识的情况下爬取网站！简单地注释您感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。 项目地址： https://github.com/scrapinghub/portia 5.Newspaper