scrapy

关于Python的就业方向，如果你还在学习还没开始找工作，这篇文章绝对会对你有所帮助。 目前信息化产业发展势头很好，互联网就成为了很多普通人想要涉及的行业，因为相比于传统行业，互联网行业涨薪幅度大，机会也多，所以就会大批的人想要转行来学习Python开发。如果你想入行Python，最好还是有老师带领学习，少走弯路，快速找到工作！ ◆◆ Python就业方向 ◆◆ 1.爬虫。 感觉python就是天然为爬虫而生，我第一个项目就是爬某东的图片，简单快速，非常有成就感。 爬虫掌握熟练的话，包括简单的mysql语句、html和css简单的知识以及最厉害的scrapy爬虫框架，基本上就可以去尝试海投一下爬虫岗位。 2.数据分析。 我的目标就是转行数据分析师，所以在这里多啰嗦几句，学会了爬虫，便有了数据来源，运用这些数据以及相应的爬虫库和excel表格，就可以进行简单的数据分析，这是相对爬虫更高级的岗位。 3.web后端。 推荐诸位转行可以走这个方向，一是工作岗位多，相对好找工作，二是学成周期短，只需要把python基础知识吃透，Django框架和flask框架吃透，再补充一些html知识，然后做一些项目便可以投简历了。 4.机器学习。 这个方向就比较高端了，对于想转行的新手不建议触碰。 5、运维工程师 我们都知道，Python不仅能做人工智能、web开发，还在运维中有着举足轻重的作用。

1. 安装服务器： pip install scrapyd 启动： scrapyd 访问：127.0.0.1:6800 2. 安装客户端 pip install scrapyd-client 3. 进入爬虫项目根目录：找到 scrapy.cfg 文件 修改如下 [settings] default = blog.settings [deploy:zwb] url = http://localhost:6800/ project = blog 4. 发布项目 scrapyd-deploy target -p prject 这里target 为你的服务器命令，prject是你项目的名字，发布项目之前我们的scrapyd.cfg必须修改，上面我们已经修改过了， 因此我的命令是：scrapyd-deploy zwb -p blog scrapyd-deploy < target> -p < project> --version < version> 4.2 启动爬虫 curl http://localhost:6800/schedule.json -d project=blog -d spider=demo 4.3 停止爬虫 curl http://localhost:6800/cancel.json -d project=blog -d job=demo blog：你爬虫项目的名字

scrapyd 安装 scrapyd-中心节点,子节点安装scrapyd-client pip3 install scrapyd pip3 install scrapyd-client scrapyd-client两个作用 把本地的代码打包生成egg包 把egg上传到远程的服务器上 windows配置scrapyd-deploy H:\Python36\Scripts下创建scrapyd-deploy.bat python H:/Python36/Scripts/scrapyd-deploy %* curl.exe放入H:\Python36\Scripts 启动scrapyd启动服务!!!!!!!!!! scrapyd-deploy 查询 切换到scrapy中cmd运行scrapyd-deploy H:\DDD-scrapy\douban>scrapyd-deploy scrapyd-deploy -l scrapy中scrapy.cfg修改配置 [deploy:dj] #开发项目名 url = http://localhost:6800/ project = douban #项目名 scrapy list这个命令确认可用,结果dang是spider名 如不可用,setting中添加以下 scrapyd-deploy 添加爬虫 scrapyd-deploy dj -p douban

原文地址:http://blog.wiseturtles.com/posts/scrapyd.html Tags scrapyd scrapy scrapyd-client By crazygit On 2015-10-29 scrapyd是一个用于部署和运行scrapy爬虫的程序，它允许你通过 JSON API来部署爬虫项目和控制爬虫运行 概览 项目和版本 scrapyd可以管理多个项目，并且每个项目允许有多个版本，但是只有最新的版本会被用来运行爬虫. 最方便的版本管理就是利用 VCS工具来记录你的爬虫代码，版本比较不是简单的通过字母排序，而是通过智能的算法，和 distutils 一样，例如: r10比r９更大. 工作原理 scrapyd是一个守护进程，监听爬虫的运行和请求，然后启动进程来执行它们 启动服务 # 注意，启动scrapyd的目录会保存整个scrapyd运行期间生成的log, item文件，所以请选择合适的位置运行该命令 $ scrapyd 调度爬虫运行 $ curl http://localhost:6800/schedule.json -d project =myproject -d spider =spider2 { "status": "ok", "jobid": "26d1b1a6d6f111e0be5c001e648c57f8" } web接口 http

一、思路分析： 在之前写拉勾网的爬虫的时候，总是得到下面这个结果（真是头疼），当你看到下面这个结果的时候，也就意味着被反爬了，因为一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会禁止这个IP的访问： 对于拉勾网，我们要找到职位信息的ajax接口倒是不难（如下图），问题是怎么不得到上面的结果。 要想我们的爬虫不被检测出来，我们可以使用代理IP，而网上有很多提供免费代理的网站，比如 西刺代理 、 快代理 、 89免费代理 等等，我们可以爬取一些免费的代理然后搭建我们的代理池，使用的时候直接从里面进行调用就好了。 然后通过观察可以发现，拉勾网最多显示30页职位信息，一页显示15条，也就是说最多显示450条职位信息。在ajax接口返回的结果中可以看到有一个totalCount字段，而这个字段表示的就是查询结果的数量，获取到这个值之后就能知道总共有多少页职位信息了。对于爬取下来的结果，保存在MongoDB数据库中。 二、主要代码： proxies.py（爬取免费代理并验证其可用性，然后生成代理池） 1 import requests 2 import re 3 4 5 class Proxies: 6 def __init__ (self): 7 self.proxy_list = [] 8 self

第七章 移动端数据的爬取 基于某一款抓包工具 : fiddler ,青花瓷 ,miteproxy 7.1 fiddler 基本配置 7.1.1fiddler简介和安装 什么是Fiddler? Fiddler是位于客户端和服务器端的HTTP代理，也是目前最常用的http抓包工具之一 。 它能够记录客户端和服务器之间的所有 HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是web调试的利器。 Fiddler安装 Fiddler下载地址： https://www.telerik.com/fiddler 傻瓜式安装，一键到底。Fiddler软件界面如图所示： 7.1.2手机APP抓包设置 Fiddler设置打开Fiddler软件，打开工具的设置。(Fiddler软件菜单栏：Tools->Options)在HTTPS中设置如下： 在Connections中设置如下 这里使用默认8888端口，当然也可以自己更改，但是注意不要与已经使用的端口冲突：Allow remote computers to connect:允许别的机器把请求发送到fiddler上来 安全证书下载 在电脑浏览器中输入地址： http://localhost:8888/ ，点击FiddlerRoot certificate

一、分布式爬虫 前面我们了解Scrapy爬虫框架的基本用法 这些框架都是在同一台主机运行的 爬取效率有限 如果多台主机协同爬取 爬取效率必然成倍增长 这就是分布式爬虫的优势 1. 分布式爬虫基本原理 1.1 分布式爬虫架构 Scrapy 单机爬虫中有一个本地爬取队列Queue 这个队列是利用 deque 模块实现的 如果新的 Request 生成就会放在队列里面 随后 Request被 Scheduler调度 之后 Request 交给 Downloader 执行爬取 简单的调度架构如图 单主机爬虫架构 如果两个 Scheduler同时从队列中取 Request 每个 Scheduler 都有其对应的 Downloader 那么在带宽足够 正常爬取且不考虑队列存取压力 的情况下 爬取效率会翻倍 这样 Scheduler 可以拓展多个 Downloader 也可以多拓展几个 而爬取队列Queue 必须始终为一 也就是所谓的 共享爬取队列 这样才能保证 Scheduler 从队列里调度某个 Request 之后其他 Scheduler 不会重复调度此 Request 就可以多个 Scheduler 同步爬取 这就是分布式爬虫的雏形 简单的调度架构如图 分布式爬虫架构 需要多台主机同时运行爬虫任务协同爬取 而协同爬取的前提就是共享爬取队列 这样各台主机就不要各自维护爬取队列