scrapy

人生苦短，我用 Python 前文传送门： 小白学 Python 爬虫（1）：开篇 小白学 Python 爬虫（2）：前置准备（一）基本类库的安装 小白学 Python 爬虫（3）：前置准备（二）Linux基础入门 小白学 Python 爬虫（4）：前置准备（三）Docker基础入门 小白学 Python 爬虫（5）：前置准备（四）数据库基础 小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装 小白学 Python 爬虫（7）：HTTP 基础 小白学 Python 爬虫（8）：网页基础 小白学 Python 爬虫（9）：爬虫基础 小白学 Python 爬虫（10）：Session 和 Cookies 小白学 Python 爬虫（11）：urllib 基础使用（一） 小白学 Python 爬虫（12）：urllib 基础使用（二） 小白学 Python 爬虫（13）：urllib 基础使用（三） 小白学 Python 爬虫（14）：urllib 基础使用（四） 小白学 Python 爬虫（15）：urllib 基础使用（五） 小白学 Python 爬虫（16）：urllib 实战之爬取妹子图 小白学 Python 爬虫（17）：Requests 基础使用 小白学 Python 爬虫（18）：Requests 进阶操作 小白学 Python 爬虫（19）：Xpath 基操

人生苦短，我用 Python 前文传送门： 小白学 Python 爬虫（1）：开篇 小白学 Python 爬虫（2）：前置准备（一）基本类库的安装 小白学 Python 爬虫（3）：前置准备（二）Linux基础入门 小白学 Python 爬虫（4）：前置准备（三）Docker基础入门 小白学 Python 爬虫（5）：前置准备（四）数据库基础 小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装 小白学 Python 爬虫（7）：HTTP 基础 小白学 Python 爬虫（8）：网页基础 小白学 Python 爬虫（9）：爬虫基础 小白学 Python 爬虫（10）：Session 和 Cookies 小白学 Python 爬虫（11）：urllib 基础使用（一） 小白学 Python 爬虫（12）：urllib 基础使用（二） 小白学 Python 爬虫（13）：urllib 基础使用（三） 小白学 Python 爬虫（14）：urllib 基础使用（四） 小白学 Python 爬虫（15）：urllib 基础使用（五） 小白学 Python 爬虫（16）：urllib 实战之爬取妹子图 小白学 Python 爬虫（17）：Requests 基础使用 小白学 Python 爬虫（18）：Requests 进阶操作 小白学 Python 爬虫（19）：Xpath 基操

人生苦短，我用 Python 前文传送门： 小白学 Python 爬虫（1）：开篇 小白学 Python 爬虫（2）：前置准备（一）基本类库的安装 小白学 Python 爬虫（3）：前置准备（二）Linux基础入门 小白学 Python 爬虫（4）：前置准备（三）Docker基础入门 小白学 Python 爬虫（5）：前置准备（四）数据库基础 小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装 小白学 Python 爬虫（7）：HTTP 基础 小白学 Python 爬虫（8）：网页基础 小白学 Python 爬虫（9）：爬虫基础 小白学 Python 爬虫（10）：Session 和 Cookies 小白学 Python 爬虫（11）：urllib 基础使用（一） 小白学 Python 爬虫（12）：urllib 基础使用（二） 小白学 Python 爬虫（13）：urllib 基础使用（三） 小白学 Python 爬虫（14）：urllib 基础使用（四） 小白学 Python 爬虫（15）：urllib 基础使用（五） 小白学 Python 爬虫（16）：urllib 实战之爬取妹子图 小白学 Python 爬虫（17）：Requests 基础使用 小白学 Python 爬虫（18）：Requests 进阶操作 小白学 Python 爬虫（19）：Xpath 基操

背景 想了解从事python相关岗位需要具备什么技能，于是就想从招聘网站上的职位需求入手，把信息获取下来后，生成词云，这样就能很直观的看出来哪些技能是python相关岗位需要具备的了。 技术概览 scrapy request wordcloud jieba python37 XPATH 正则表达式 具体内容 获取到上海+python的岗位页面 获取每页30个的岗位的职位信息 自动翻页获取 解决反爬的问题 生成词云 关于 scrapy的介绍 可以参考左边链接，我就直接开始介绍我是怎么实现的吧。 一 打开boss直聘的web页面，定位就是上海，输入python之后，发现url发生了变化（query的值是python，city的值是101020100）这里我们可以验证下，把query改成java后面就跳转到java相关岗位的页面，而city也是一样的，101020100是上海市的编号，其他城市的编号可以直接在web源码上获取。 二 现在我们来看如何获取岗位信息，手动操作的话就是点击岗位标题即可进入详细岗位介绍的界面，打开开发者工具可以发现岗位标题这里实际上是个跳转链接，我们可以通过xpath（// [@class="name"]//@href）来获取当前页面的链接再配合正则'/job_detail. ?.html'精确我们需要的链接，最后跟(' https://www.zhipin

【推荐阅读】微服务还能火多久？>>> 最近在coursera.org（在线学习平台）上学SNA（Social Network Analysis，社交网络分析）。有兴趣的同学可以去看一眼： https://class.coursera.org/sna-002 /，课程讲的很有意思，等回头我上完全部课程打算再写下详细总结和思考。 为什么要抓取豆瓣小组数据？ 课程要做一个带编程的final project，大概内容就是自己找一个网络数据集，然后按照课程中提供的方法进行分析。其实最难的部分是找数据，两种方法：自己抓，或者是找现成的。对于后者，国内有个叫 数据堂 的数据分享网站做的不错，上面有豆瓣，淘宝，微博等各种数据，不过有些数据需要收费；国外有个叫 Konect 的网站专注于复杂网络数据。 看了一圈现成的数据都不太满意，决定自己抓取了。目标锁定豆瓣小组，打算分析小组之间的互相联系。 如何用Scrapy抓取网页？ 还不太了解Scrapy的同学直接看这里 http://www.oschina.net/p/scrapy ，这边就不赘述基本功能和安装方式。 1，先建立一个scrapy项目，项目名称doubanscrapy startproject douban scrapy startproject douban 会生成一个项目目录，内部结构大概如下： douban/ scrapy.cfg ==

【推荐阅读】微服务还能火多久？>>> 接着上篇博客《用Scrapy抓取豆瓣小组数据（一)》 http://my.oschina.net/chengye/blog/124157 在scrapy中怎么让Spider自动去抓取豆瓣小组页面 1，引入Scrapy中的另一个预定义的蜘蛛CrawlSpider from scrapy.contrib.spiders import CrawlSpider, Rule from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 2， 基于CrawSpider定义一个新的类GroupSpider，并添加相应的爬行规则。 class GroupSpider(CrawlSpider): name = "Group" allowed_domains = ["douban.com"] start_urls = [ "http://www.douban.com/group/explore?tag=%E8%B4%AD%E7%89%A9", "http://www.douban.com/group/explore?tag=%E7%94%9F%E6%B4%BB", "http://www.douban.com/group/explore?tag=%E7%A4%BE%E4%BC%9A", "http