scrapy

1 scapy介绍 scrapy是一个基于twisted(python)的开源的爬虫框架，注意它是一个框架，不同于requests和urllib，这两个是库，很多功能都需要自己去实现 scrapy优点 耦合度低，可扩展性强 可以快速灵活定制需求，例如实现log,参数配置，监控，数据处理 针对爬虫中遇到的各类问题（反爬虫策略，数据解析，数据持久化等），只需完成指定模块的开发就可以实现功能 异步实现，并发量大，适用于大规模爬取数据 上图是scrapy的框架，包括以下几个部分 engine:负责处理整个系统的数据流，出发事务 spider:负责发起requests,解析response的数据内容为item，并将解析后的item返回给引擎 item pipelines:负责处理items，包括过滤，分析，存储等，常见的应用就是将数据存入数据库 downloader:负责根据request内容下载数据并返回response middleware:处理request和response的中间件，常见应用包括设置数据请求头，代理和代理IP等 scheduler:负责接受引擎发送来的请求，并将其加入队列中。 2 scrapy安装 pip install scrapy 3 scrapy项目启动 #创建一个scrapy项目:scrapy startpoject 项目名称 scrapy

1.CrawlSpider介绍 Scrapy框架中分两类爬虫，Spider类和CrawlSpider类。 此案例采用的是CrawlSpider类实现爬虫。 它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则(rule)来提供跟进link的方便的机制，从爬取的网页中获取link并继续爬取的工作更适合。 创建项目指令： scrapy startproject baidu 模版创建： scrapy genspider -t crawl baidu 'tieba.baidu.com' CrawlSpider继承于Spider类，除了继承过来的属性外（name、allow_domains），还提供了新的属性和方法: LinkExtractors class scrapy.linkextractors.LinkExtractor Link Extractors 的目的很简单: 提取链接｡ 每个LinkExtractor有唯一的公共方法是 extract_links()，它接收一个 Response 对象，并返回一个 scrapy.link.Link 对象。 Link Extractors要实例化一次，并且 extract_links 方法会根据不同的 response 调用多次提取链接｡ 主要参数： allow

CrawlSpider（规则爬虫） 一 .简介： 它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页， 而CrawlSpider类定义了一些规则(rule)来提供跟进link的方便的机制，从爬取的网页中获取link并继续爬取的工作更适合。 二.创建爬虫命令： 1.前提是已经创建好爬虫项目了，若没有创建好项目，请使用 scrapy startproject 项目名 进入项目目录 2.在项目目录下执行创建规则爬虫：scrapy genspider -t crawl 爬虫名称 爬取域名 三.在pycharm中编写规则爬虫文件 1. 爬虫文件中导入的 Link Extractors： class scrapy.linkextractors.LinkExtractor 作用是： 每个LinkExtractor有唯一的公共方法是 extract_links()，它接收一个 Response 对象， 类中定义了 Response中的链接的提取规则， 并返回一个 scrapy.link.Link 对象， 返回的是符合链接匹配对象的列表 。 Link Extractors要实例化一次，并且extract_links 方法会根据不同的 response 调用多次提取链接｡ 2. Link Extractors 中的主要参数： allow：满足括号中“正则表达式

一、scrapy框架的简介和基础使用 二、scrapy框架--parse方法解析示例 三、scrapy框架--基于终端指令的持久化存储 四、scrapy框架--基于管道的持久化存储 五、scrapy框架--基于MySQL数据库的持久化存储 六、scrapy框架--基于redis的持久化存储 七、scrapy框架--将爬取到的数据分别存储在本地磁盘、redis、MySQL中 八、scrapy框架--多个url数据爬取(请求手动发送) 九、scrapy框架--核心组件 十、scrapy框架--发送post请求 十一、scrapy框架--session的使用 十二、scrapy框架--代理的使用 十三、scrapy框架--日志等级 十四、scrapy框架--请求传参 十五、scrapy框架--CrawlSpider的使用 十六、scrapy框架--分布式爬虫RedisCrawlSpider 十七、scrapy框架--分布式爬虫RedisSpider 十八、scrapy框架--UA池、代理池 十九、scrapy框架--综合应用(爬网易新闻) 二十、scrapy框架--总结 =============================================== 一、scrapy框架的简介和基础使用 a）概念：为了爬取网站数据而编写的一款应用框架，出名，强大。 　　　

系统选择centOs 7，Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Linux发行版都自带Python环境，Scrapy官方推荐使用pip安装Scrapy，因此首先需要安装pip. 去github下载pip最新安装包。 pip install 目前版本是7.1.2下载完成得到一个 pip-7.1.2.tar.gz 的压缩包，然后执行命令解压缩 1 $ tar zvxf pip-7.1.2.tar.gz 进入解压好的pip-7.1.2目录，找到setup.py并安装执行 1 $ sudo python setup.py install 执行完成后就可以使用pip命令了。 然后使用pip命令安装Scrapy 1 $ sudo pip install Scrapy 安装过程中会出现一个报错： 12 编译中断。 error: command 'gcc' failed with exit status 1 解决办法是执行 1 $ yum install gcc python-devel 安装完成后再次执行以上

全局函数 创建新的爬虫文件: Scrapy startproject 文件名 Scrapy version: 查看scrapy版本 Scrapy version -v :可以显示Scrapy依赖库的版本 Scrapy view 查看网址源代码 Scrapy shell 网址 : 测试网址 再输入 response.text 拿到网页的源代码 Scrapy fetch 下载网页源代码 Scrapy bench 运行快速基准测试。 scrapy list 列出spider路径下的spider文件 scrapy edit 文件名字 编辑spider文件 局部函数: 新建一个爬虫 Scrapy genspider 爬虫名字 域名 运行爬虫 Scrapy crawl spider名字 Setting.py加入LOG_LEVEL = ‘WARNING’ 去除日志,只显示抓取结果 LOG_FILE = './log.log’ 将数据保存到log.log中 Item={} Item[‘name’]=Response.xpath().extract() extract():这个方法返回的是一个数组list，，里面包含了多个string，如果只有一个string，则返回[‘ABC’]这样的形式。 Item[‘name’]=Response.xpath().extract_first() extract

有时为了测试xpath，需要临时下载个页面，这时使用命令行进行测试是最方便的，但是很多网站页面需要认证，不能直接使用scrapy shell命令进行页面的抓取，所以需要重新对请求进行构造，设置cookies和headers。 首先在当前装有scrapy的python环境中安装ipython # python环境下 pip install ipython # conda环境下 conda install ipython 首先进入scrapy shell，会自动使用ipython scrapy shell 把cookies转成字典格式 # 指定请求目标的 URL 链接 url = 'https://novel18.syosetu.com/n7016er/31/' # 自定义 Headers 请求头(一般建议在调试时使用自定义 UA，以绕过最基础的 User-Agent 检测) headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'} # 构造需要附带的 Cookies 字典 cookies = {"key_1": "value_1", "key_2": "value_2

之前的一篇帖子里曾经在Ubuntu云服务器上部署了Scrapyd容器，帖子如下： 云服务器下docker部署scrapyd 目前需要对scrapyd添加了日志解析，该库的名称为 logparser ，它被用作在scrapyweb中解析scrapyd的日志。这里不介绍scrapyweb，感兴趣的可以去github上了解。 logparser库的工作原理是每隔一段时间（默认10s）查看一下日志文件夹，然后解析，并生成stats.json文件。scrapyd在开启了端口后可以访问scrapyd的目录，因此可以在不修改scrapyd的情况下对日志解析，举个例子，下面是我的scrapyd的工作目录： 目前我们只关注logs文件夹，如果此时的scrapyd服务器可以被访问的话，那么输入ip:port/logs则显示： stats.json的内容如下: { "status": "ok", "datas": {}, "settings_py": "/usr/local/lib/python3.7/site-packages/logparser/settings.py", "settings": { "scrapyd_server": "127.0.0.1:6800", "scrapyd_logs_dir": "/opt/logs", "parse_round_interval": 10,

首先在同步两篇之前写过的博客，可能能用得到 1、 https://www.cnblogs.com/lutt/p/10893192.html 2、 https://www.cnblogs.com/lutt/p/10895317.html 在上述操作的过程中，在执行命令：scrapyd-deploy时遇报错： /usr/local/bin/scrapyd-deploy:23: ScrapyDeprecationWarning: Module `scrapy.utils.http` is deprecated, Please import from `w3lib.http` instead. from scrapy.utils.http import basic_auth_header Error: no Scrapy project found in this location 乍一看以为是路径问题导致找不到scrapy项目，其实不然，报错已经说明，由于底层scrapyd-deploy的模块‘scrapy.utils.http’已经弃用，建议更新为`w3lib.http`替代 解决办法其实很简单，点击上图链接： 把原先第23行代码替换成24行即可成功解决这一问题！ 在将scrapyd部署的过程中可能还会遇到其他问题，比如： Don't worry 不着急，详情请移步我开头的两篇博客