scrapy

ItemLoader的简单使用：目的是解决在爬虫文件中代码结构杂乱，无序，可读性差的缺点 经过之前的基础，我们可以爬取一些不用登录，没有Ajax的，等等其他的简单的爬虫 回顾我们的代码，是不是有点冗长，将所需字段通过xpath或者css解析出来，再自定义语句(还不是函数中) 进行清洗;然后再装入Item中，有没有这样一种方法：从Item中可以直接清洗岂不是很简单 今天就学习 ItemLoader这样一种对戏，简单代码，可读增强 思路： 1,创建一个ItemLoad对象 2,通过该对象的add_css或者add_xpath或者add_value方法将解析语句装入ItemLoader 3,在Item.py中在Filder()中调用函数，用来清洗，处理数据 4,artical_item = item_loader.load_item() 调用这个对象的此方法，写入到Item中 具体代码： 在爬虫文件中： 1 #先引入 2 from ArticalSpider.items import JobboleArticalItem,ArticalItemLoader 3 #使用Itemloader来简化这个解析，装入Item这个过程，使得代码量减少 4 #先创建一个itemLoader()这样一个对象,不需解析list第一个等问题 5

PS：小编是为了参加大数据技能大赛而学习网络爬虫，对爬虫感兴趣的可以关注我哦，每周更新一篇~（这周迎来第一个粉丝，为了庆祝多发布一篇✌） 👉直奔主题👈 首先，我们来分析目标网页 http://www.bookschina.com/kinder/54290000/ 查看网页源代码，搜索关键字的快捷键是（Ctrl+F） 现在已经找到我们所需的信息块，下面开始go~ go~ go~ 开始操作实战 第一步：创建bookstore项目，还是熟悉的三句命令： （PS：记住是在cmd.exe下执行） scrapy startproject bookstore cd bookstore scrapy genspider store "bookschina.com" 第二步：编写代码 一、 编写spider.py模块 # -*- coding: utf-8 -*- import scrapy import time from scrapy import Request , Selector from bookstore . items import BookstoreItem class StoreSpider ( scrapy . Spider ) : name = 'store' # allowed_domains = ['bookschina.com'] # start_urls = [

scrapy学习，可以参考：scrapy1.5中文文档， http://www.scrapyd.cn/doc/ 1）创建项目 指定文件夹目录创建项目，cmd进入文件夹路径，使用命令： scrapy startproject 项目名 创建成功后的项目目录结构： 2）编写第一个蜘蛛，参考： http://www.scrapyd.cn/doc/140.html import scrapy class mingyan(scrapy.Spider): # 需要继承scrapy.Spider类 name = "mingyan2" # 定义蜘蛛名（crwal后的名称） start_urls = ['http://lab.scrapyd.cn'] def parse(self, response): mingyan = response.css('div.quote') for v in mingyan: # 循环获取每一条名言里面的：名言内容、作者、标签 text = v.css('.text::text').extract_first() # 提取名言 autor = v.css('.author::text').extract_first() # 提取作者 tags = v.css('.tags .tag::text').extract() # 提取标签 tags = ','.join

Downloader Middleware的功能 在Downloader Middleware的功能十分强大： 可以修改User-Agent 处理重定向 设置代理 失败重试 设置Cookies等 Downloader Middleware在整个架构中起作用的位置是以下两个： 在Scheduler调度出队列的Request发送给Doanloader下载之前，也就是我们可以在Request执行下载前对其进行修改。 在下载后生成的Response发送给Spider之前，也就是我们可以生成Resposne被Spider解析之前对其进行修改。 Scrapy中的内建Downloader Middleware 在Scrapy中已经提供了许多Downloader Middleware，如：负责失败重试、自动重定向等中间件： 它们都被定义到DOWNLOADER_MIDDLEWARES_BASE变量中。 注：下面的配置，是全局配置，不要修改，如果要修改，去修改项目中的配置！ # 在python3.6/site-packages/scrapy/settings/default_settings.py默认配置中 DOWNLOADER_MIDDLEWARES_BASE = { # Engine side 'scrapy.downloadermiddlewares.robotstxt