scrapy

【2020-03-13 更新了网盘链接】 之前用爬虫抓点数据的时候基本上就是urllib3+BeautifulSoup4，后来又加入requests，大部分情况就够用了。但是最近心血来潮想学一下Scrapy，于是找了本书——《精通Python爬虫框架Scrapy》。内容算是比较可以的，但是按书中附录搭建环境着实折腾了一点时间，于是想把碰到的问题总结一下，让大家也少走点弯路。 进入正题之前，有几点要说明一下： 安装这个环境有什么用？这个环境就是一个服务器，有需要你抓的网站，不会因现实中的网站改版而造成代码失效，书中测试代码的网站基本上都基于这个服务器进行的； 书中默认的操作系统是Linux，只需要按书中的命令一个一个输入就行了，也可以参考这篇 https://blog.csdn.net/calmseason/article/details/96745478 ，这里要介绍的是Windows下的环境搭建； 安装过程中需要从国外服务器下载一些镜像文件，不少于3.0G，下载速度就只能呵呵了； 安装docker-toolbox需要操作系统是64位系统。 言归正传，开始吧。 一、安装Scrapy 我一般用pip安装各种库，只有一点值得注意一下，就是从pypi.org下载实在是一言难尽，于是： pip install scrapy -i https://pypi.douban.com/simple

　　大家都知道python是一门多岗位编程语言，学习python之后可以从事的岗位有很多，python爬虫便在其中，不过很多人对python不是很了解，所以也不知道python爬虫是什么，接下来带着你的疑问小编为大家介绍一下。 　　Python是一门非常适合开发网络爬虫的编程语言，相比于其他静态编程语言，Python抓取网页文档的接口更简洁;相比于其他动态脚本语言，Python的urllib2包提供了较为完整的访问网页文档的API。此外，python中有优秀的第三方包可以高效实现网页抓取，并可用极短的代码完成网页的标签过滤功能。 　　Python爬虫架构组成: 　　1. URL管理器：管理待爬取的url集合和已爬取的url集合，传送待爬取的url给网页下载器; 　　2. 网页下载器：爬取url对应的网页，存储成字符串，传送给网页解析器; 　　3. 网页解析器：解析出有价值的数据，存储下来，同时补充url到URL管理器。 　　Python爬虫工作原理: 　　Python爬虫通过URL管理器，判断是否有待爬URL，如果有待爬URL，通过调度器进行传递给下载器，下载URL内容，并通过调度器传送给解析器，解析URL内容，并将价值数据和新URL列表通过调度器传递给应用程序，并输出价值信息的过程。 　　Python爬虫常用框架有： 　　grab：网络爬虫框架; 　　scrapy：网络爬虫框架

安装 使用pip install 来安装scrapy需要安装大量的依赖库，这里我使用了Anaconda来安装scrapy，安装时只需要一条语句：conda install scrapy即可 创建项目 在开始爬取之前，您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中，运行下列命令: scrapy startproject tutorial 该命令将会创建包含下列内容的 tutorial 目录: tutorial/ scrapy.cfg tutorial/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py ... 这些文件分别是: scrapy.cfg : 项目的配置文件 tutorial/ : 该项目的python模块。之后您将在此加入代码。 tutorial/items.py : 项目中的item文件. tutorial/pipelines.py : 项目中的pipelines文件. tutorial/settings.py : 项目的设置文件. tutorial/spiders/ : 放置spider代码的目录. 定义Item Item 是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。 类似在ORM中做的一样

get_cookies.py from selenium import webdriver from pymongo import MongoClient from scrapy.crawler import overridden_settings # from segmentfault import settings import time import settings class GetCookies(object): def __init__(self): # 初始化组件 # 设定webdriver选项 self.opt = webdriver.ChromeOptions() # self.opt.add_argument("--headless") # 初始化用户列表 self.user_list = settings.USER_LIST # 初始化MongoDB参数 self.client = MongoClient(settings.MONGO_URI) self.db = self.client[settings.MONGO_DB] self.collection = self.db["cookies"] def get_cookies(self,username,password): """ :param username: :param password:

人生苦短，我用Python Python网络爬虫上手很快，能够尽早入门，可是想精通确实是需求些时间，需求达到爬虫工程师的级别更是需求煞费苦心了，接下来共享的学习道路是针对小白或许学习Python网络爬虫不久的同伴们。 学习网络爬虫能够分三步走，如果你是大神，请直接绕走，蟹蟹~~ 第一步，刚触摸Python网络爬虫的时分肯定是先过一遍Python最基本的常识，比如说：变量、字符串、列表、字典、元组、操控句子、语法等，把根底打牢，这样在做案例的时分不会觉得模糊。根底常识能够参阅廖雪峰的教程，很根底，也非常易懂，关于新手能够很快接纳。此外，你还需求了解一些网络恳求的基本原理、网页结构（如HTML、XML）等。 第二步，看视频或许找一本专业的网络爬虫书本（如用Python写网络爬虫），跟着他人的爬虫代码学，跟着他人的代码敲，弄懂每一行代码，留意务必要着手亲身实践，这样才会学的更快，懂的更多。许多时分我们好大喜功，觉得自己这个会，然后不愿意着手，其实真实比及我们着手的时分便漏洞百出了，最好每天都坚持敲代码，找点感觉。开发东西主张选Python3，由于到2020年Python2就中止保护了，日后Python3肯定是干流。IDE能够选择pycharm、sublime或jupyter等，小编引荐运用pychram，由于它非常友爱，有些相似java中的eclipse，非常智能。浏览器方面，学会运用

Ajax爬虫 浏览器中可看到正常显示的数据,但使用requests得到的结果并没有。 这是什么原因呢? requests获取的是原始的HTML文档,而浏览器中的页面是经过JS处理数据后生成的结果。 这些数据的来源有哪些情况呢? Ajax加载、包含在HTML文档中、经过JavaScript和特定算法计算后生成 Ajax(Asynchronous JavaScript and XML)异步的JS和XML。原理是: 利用JS在保证页面 不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。 Ajax如何分析页面? 拖动刷新的内容由Ajax加载且页面的URL无变化,那么应该到哪里去查看这些Ajax请求呢? 开发者工具(F12)->Network选项卡, 获取页面加载过程中Browser与Server之间请求和响 应。 筛选出所有的Ajax请求。在请求的上方有一层筛选栏,直接点击XHR(Ajax特殊的响应类型) 模拟Ajax请求,提取我们所需要的信息。 打开Ajax的XHR过滤器,然后一直滑动页面以加载新的微博内容。可以看到,会不断有 Ajax请求发出。请求的参数有4个:type、value、containerid和page。 基于Ajax和requests采集器的微博爬虫 import os import requests from colorama import Fore

import pandas a =pandas.read_excel(r ' D:\scrapy网络爬虫\nba.xlsx ' ) bins =[0,5000000,max(a[ ' Salary ' ])] group_by =[ ' 底 ' , ' 高 ' ] a[ ' new_col ' ]=pandas.cut(a[ ' Salary ' ],bins,labels= group_by) a =a.fillna(axis=1,method= ' ffill ' ) # 从纵向来看，用前一个值填充空值 print (a) 来源： oschina 链接： https://my.oschina.net/u/4343260/blog/4328947

Python爬虫为什么受欢迎 如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像 Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。 利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如： 知乎：爬取优质答案，为你筛选出各话题下最优质的内容。淘宝、京东：抓取商品、评论及销量数据，对各种商品及用户的消费场景进行分析。安居客、链家：抓取房产买卖及租售信息，分析房价变化趋势、做不同区域的房价分析。拉勾网、智联：爬取各类职位信息，分析各行业人才需求情况及薪资水平。雪球网：抓取雪球高回报用户的行为，对股票市场进行分析和预测。 爬虫是入门Python最好的方式，没有之一。Python有很多应用的方向，比如后台开发、web开发、科学计算等等，但爬虫对于初学者而言更友好，原理简单，几行代码就能实现基本的爬虫，学习的过程更加平滑，你能体会更大的成就感。 掌握基本的爬虫后，你再去学习Python数据分析、web开发甚至机器学习，都会更得心应手。因为这个过程中，Python基本语法、库的使用，以及如何查找文档你都非常熟悉了。 对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有人认为学爬虫必须精通 Python，然后哼哧哼哧系统学习 Python 的每个知识点，很久之后发现仍然爬不了数据

效果图： 废话 如何知道你写的爬虫有没有正常运行，运行了多长时间，请求了多少个网页，抓到了多少条数据呢？官方其实就提供了一个字典就包含一些抓取的相关信息：crawler.stats.get_stats()，crawler是scrapy中的一个组件。你可以在很多组件中访问他，比如包含from_crawler(cls, crawler)方法的所有组件。 既然能得到scrapy的运行状态，想要实时显示出来应该也很简单吧。同样是使用上一篇博客用到的influxdb+grafana来展示数据，我们只需要将scrapy的一些运行信息实时同步到influxdb这个数据库，就能通过grafana以图的形式来展示出数据库里的内容了。 写数据库 如何实时将字典同步到数据库呢？这里肯定要设定一个同步的时间间隔，假设是5秒。那么我们的需求就是让scrapy每5秒写一次爬虫运行状态的信息到数据库，上面提到能访问到crawler.stats.get_stats()这个的组件有很多，比如中间件、管道、爬虫。我们应该在哪个组件中同步信息？ 这个我们可以先看一些内置的组件分别实现了什么功能，然后看和需求最相似的功能。很明显，功能最为合适的是extensions这个组件了，有很多人可能都没有用过这个组件，我在看很多博客都很少有提到这个组件的，因为这个组件能做的事，其他也能做，用它只是为了让分工更明确而已