scrapy

　　python是很多人都喜欢学习的编程语言，语法简单、清晰、优雅、通俗易懂，对初学者非常友好，对于没有任何基础的人想要转行编程，都会选择python。更重要的是python具有丰富的第三方库，python帮助我们完成各种各样的事情。那么你知道python的哪些库呢?一起来看看吧。 　　Arrow：Arrow是非常方便和智能的，可以轻松地定位几个小时的时间，轻松转换时区的时间，对于一个小时前，2小时之内这样人性化的信息也能解读。 　　Behold：调试程序对于程序员很重要，对于脚本语言，很多人习惯用print进行调试，而对于大项目来说，它远远不够，人人都想要轻松，调试方便，那么Behold是非常合适的选择。 　　Click：对于命令行API进行大量封装，你可以轻松开发出属于自己的CLI命令集。终端的颜色，环境变量信息，通过Click都可以轻松进行获取和改变。 　　Numba：从事数据方面的工作，Numba是不能缺少的。通过高速C库包装python接口中来工作， Numba无疑 是最方便，它允许使用装饰器选择性地加速Python函数。 　　Pillow：图像处理，调试画面颜色、饱和度、调整图像尺寸、裁剪图像等，这些都可以通过python来完成，使用的就是Pillow。 　　Pygame：专门为了游戏开发推出的python库，你可以轻松的开发出一个游戏，封装了几乎常用游戏框架的所有功能

scrapy shell 网址 此模式下方便定位数据 来源： oschina 链接： https://my.oschina.net/u/3371661/blog/4454462

接下来我们将在爬虫主体文件中对Item的值进行填充。 1、首先在爬虫主体文件中将Item模块导入进来，如下图所示。 2、第一步的意思是说将items.py中的ArticleItem类导入到爬虫主体文件中去，将两个文件串联起来，其中items.py的部分内容如下图所示。 3、将这个ArticleItem类导入之后，接下来我们就可以对这个类进行初始化，并对其进行相应值的填充。首先去parse_detail函数下对其进行实例化，实例化的方法也十分简单，如下图所示。 4、接下来，我们将填充对应的值。实际上我们在之前通过Xpath或者CSS选择器已经获取到了目标数据，如下图所示，现在要做的就是依次填充目标字段的值。 5、我们可以像字典一样来给目标字段传值，例如item[“title”]= title，其他的目标字段的填充也是形如该格式，填充完成之后如下图所示。 其中，目标字段可以参考items.py中定义的item，这样可以加快填充的速度。 6、到这里，我们已经将需要填充的字段全部填充完成了，之后我们需要调用yield，这点十分重要。再调用yield之后，实例化后的item就会自动传递到pipeline当中去。可以看到下图中的pipelines.py中默认给出的代码，说明pipeline其实是可以接收item的。 7、到这里，关于实例化item的步骤就已经完成了，是不是比较简单呢

如何高效学习Python爬虫技术？大部分Python爬虫都是按“发送请求-获得页面-解析页面-抽取并储存内容”流程来进行抓取，模拟人们使用浏览器获取网页信息的过程。 　　 高效学习Python爬虫技术的步骤： 　　 1、学Python网络爬虫基础知识 　　学Python网络爬虫时先了解Python基本常识，变量、字符串、列表、字典、元组、操控句子、语法等，把基础打牢，在做案例时能知道运用的是哪些知识点。此外还需求了解一些网络请求的基本原理、网页结构等。 　　 2、看Python网络爬虫视频教程学习 　　看视频或找一本专业的网络爬虫书本《用Python写网络爬虫》，跟着视频学习爬虫代码，多敲代码敲，弄懂每一行代码着手亲身实践，边学习边做才能学的更快。很多人有误区，觉得自己会不愿意实操，看懂和学会是两个概念，真正操作的时候才是检验知识的有效途径，实操时漏洞百出，要坚持经常敲代码找感觉。 　　开发建议选Python3，2020年Python2中止保护，Python3是主流。IDE选择pycharm、sublime或jupyter等，推荐运用pychram，有些相似Java中的eclipse很智能。浏览器学会运用 Chrome 或许 FireFox 浏览器去检查元素，学会运用进行抓包。了解干流的爬虫和库，如urllib、requests、re、bs4、xpath、json等

by 闲欢 想爬取网站数据？先登录网站！对于大多数大型网站来说，想要爬取他们的数据，第一道门槛就是登录网站。下面请跟随我的步伐来学习如何模拟登陆网站。 为什么进行模拟登陆？ 互联网上的网站分两种：需要登录和不需要登录。（这是一句废话！） 那么，对于不需要登录的网站，我们直接获取数据即可，简单省事。而对于需要登录才可以查看数据或者不登录只能查看一部分数据的网站来说，我们只好乖乖地登录网站了。（除非你直接黑进人家数据库，黑客操作请慎用！） 所以，对于需要登录的网站，我们需要模拟一下登录，一方面为了获取登陆之后页面的信息和数据，另一方面为了拿到登录之后的 cookie ，以便下次请求时使用。 模拟登陆的思路 一提到模拟登陆，大家的第一反应肯定是：切！那还不简单？打开浏览器，输入网址，找到用户名密码框，输入用户名和密码，然后点击登陆就完事！ 这种方式没毛病，我们的 selenium 模拟登陆就是这么操作的。 除此之外呢，我们的 Requests 还可以直接携带已经登陆过的 cookies 进行请求，相当于绕过了登陆。 我们也可以利用 Requests 发送 post 请求，将网站登录需要的信息附带到 post 请求中进行登录。 以上就是我们常见的三种模拟登陆网站的思路，那么我们的 Scrapy 也使用了后两种方式，毕竟第一种只是 selenium 特有的方式。 Scrapy 模拟登陆的思路

百度云盘：用Python写网络爬虫PDF高清完整版免费下载 提取码：iix7 内容简介 作为一种便捷地收集网上信息并从中抽取出可用信息的方式，网络爬虫技术变得越来越有用。使用Python这样的简单编程语言，你可以使用少量编程技能就可以爬取复杂的网站。 《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南，讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外，本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据，以及有关爬取技术的更多真相，比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫，并对一些真实的网站进行了爬取。 《用Python写网络爬虫》介绍了如下内容： 通过跟踪链接来爬取网站； 使用lxml从页面中抽取数据； 构建线程爬虫来并行爬取页面； 将下载的内容进行缓存，以降低带宽消耗； 解析依赖于JavaScript的网站； 与表单和会话进行交互； 解决受保护页面的验证码问题； 对AJAX调用进行逆向工程； 使用Scrapy创建高级爬虫。 本书读者对象 本书是为想要构建可靠的数据爬取解决方案的开发人员写作的，本书假定读者具有一定的Python编程经验。当然，具备其他编程语言开发经验的读者也可以阅读本书，并理解书中涉及的概念和原理。 作者简介

咱们今天的主题是关于爬取盗墓笔记，主要技术要点是scrapy的使用，scrapy框架中使用mongodb数据库，文件的保存。 　这次爬取的网址是 http://seputu.com/。之前也经常在上面在线看盗墓笔记。 使用firebug审查元素，查看如何解析html。 这次咱们要把书的名称，章节，章节名称，章节链接抽取出来，存储到数据库中，同时将文章的内容提取出来存成txt文件。 看一下html结构就会发现这个页面结构非常分明，标题的html节点是 div class = ''mulu-title"，章节的节点是 div class= "box" ，每一章的节点是 div class= "box"中的<li>标签。 然后咱们将第一章的链接 http://seputu.com/biji1/1.html打开，上面就是文章的内容。 可以看到文章的内容是使用 div class ="content-body"中的<p>标签包裹起来的，总体来说提取难度挺小。 打开cmd，输入scrapy startproject daomubiji,这时候会生成一个工程，然后我把整个工程复制到pycharm中 工程结构 DaomubijiSpider.py ------Spider 蜘蛛 items.py -----------------对要爬取数据的模型定义 pipelines.py----------

scrapy 解决302重定向问题 参考文章： （1）scrapy 解决302重定向问题 （2）https://www.cnblogs.com/fh-fendou/p/9802167.html 备忘一下。 来源： oschina 链接： https://my.oschina.net/u/4412764/blog/4359272