scrapy

查找打包 find ./ -name settings.py | xargs tar -czvf settings.tar.gz mkdir test tar -zxvf settings.tar.gz -C ./test 批量查找过滤脚本 #!/bin/bash pyfile=`find ./ -name settings.py` for ifile in $pyfile do echo $ifile `cat $ifile | grep scrapy_redis` | egrep -v "#|^$" 2>/dev/null >>out_scrapy_redis.txt done 来源： CSDN 作者： tangbin0505 链接： https://blog.csdn.net/tangbin0505/article/details/103936013

搭建Scrapyd服务 检查是否安装systemd 服务器CentOS 7 [root@VM_0_6_centos ~]# yum install systemd Loaded plugins: fastestmirror, langpacks Loading mirror speeds from cached hostfile epel | 5.3 kB 00:00:00 extras | 2.9 kB 00:00:00 os | 3.6 kB 00:00:00 updates | 2.9 kB 00:00:00 Package systemd-219-67.el7_7.2.x86_64 already installed and latest version Nothing to do 新建scrapyd.service文件，然后添加一些内容（需要root权限）我是以root账户操作的。 vim /lib/systemd/system/scrapyd.service 系统可能默认没有安装vim，安装或者改用vi等即可。 添加内容： [Unit] Description=scrapyd After=network.target Documentation=http://scrapyd.readthedocs.org/en/latest/api.html [Service]

关于Scrapy框架 Scrapy是: 由Python语言开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。 Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。 Scrapy框架的架构图与运行原理及各个组件 1）架构图： 2）运行原理： Scrapy的整个数据处理流程由Scrapy引擎进行控制，其主要的运行方式为： 引擎打开一个域名，时蜘蛛处理这个域名，并让蜘蛛获取第一个爬取的URL。 引擎从蜘蛛那获取需要爬取的一个URL，然后作为请求在调度器中进行调度。 引擎从调度那获取接下来进行爬取的页面。 调度将下一个爬取的URL返回给引擎，引擎将它们通过下载中间件发送到下载器。 当网页被下载器下载完成以后，响应内容通过下载中间件被发送到引擎。 引擎收到下载器的响应并将它通过蜘蛛中间件发送到蜘蛛进行处理。 蜘蛛处理响应并返回爬取到的项目，然后给引擎发送新的请求。 引擎将抓取到的项目项目管道，并向调度发送请求。 系统重复第二部后面的操作，直到调度中没有请求，然后断开引擎与域之间的联系。 3）各个组件 引擎(Scrapy Engine)

Q2Day81 http://www.cnblogs.com/wupeiqi/articles/6229292.html 性能相关 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 import requests def fetch_async(url): response = requests.get(url) return response url_list = ['http://www.github.com', 'http://www.bing.com'] for url in url_list: fetch_async(url) from concurrent.futures import ThreadPoolExecutor import requests def fetch_async(url): response = requests.get(url) return response url_list = ['http://www.github.com', 'http://www.bing.com'] pool = ThreadPoolExecutor(5) for url in url_list: pool.submit(fetch_async, url) pool.shutdown(wait=True

Q2Day81 性能相关 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 import requests def fetch_async(url): response = requests.get(url) return response url_list = ['http://www.github.com', 'http://www.bing.com'] for url in url_list: fetch_async(url) 2.多线程执行 2.多线程+回调函数执行 3.多进程执行 3.多进程+回调函数执行 通过上述代码均可以完成对请求性能的提高，对于多线程和多进行的缺点是在IO阻塞时会造成了线程和进程的浪费，所以异步IO回事首选： 1.asyncio示例1 1.asyncio示例2 2.asyncio + aiohttp 3.asyncio + requests 4.gevent + requests 5.grequests 6.Twisted示例 7.Tornado from twisted.internet import reactor from twisted.web.client import getPage import urllib.parse def one_done(arg): print