网页抓取

前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机器达到抓取极限。 Python爬虫这两年貌似成为了一项必备技能，无论是搞技术的，做产品的，数据分析的，金融的，初创公司做冷启动的，都想去抓点数据回来玩玩。这里面绝大多数一共都只抓几万或几十万条数据，这个数量级其实大可不必写爬虫，使用 chrome 插件web scraper或者让selenium驱动 chrome 就好了，会为你节省很多分析网页结构或研究如何登陆的时间。 本篇只关注如何让爬虫的抓取性能最大化上，没有使用scrapy等爬虫框架，就是多线程+Python requests库搞定。 对一个网站定向抓取几十万张页面一般只用解决访问频率限制问题就好了。对机器内存，硬盘空间，URL去重，网络性能，抓取间隙时间调优一般都不会在意。 如果要设计一个单台每天抓取上百万张网页，共有一亿张页面的网站时 ，访问频率限制问题就不是最棘手的问题了，上述每一项都要很好解决才行。硬盘存储，内存，网络性能等问题我们一项项来拆解。 一、优化硬盘存储 所以千万级网页的抓取是需要先设计的，先来做一个计算题。共要抓取一亿张页面，一般一张网页的大小是400KB左右， 一亿张网页就是1亿X200KB=36TB 。这么大的存储需求

HttpClient HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。 以下列出的是 HttpClient 提供的主要的功能，要知道更多详细的功能可以参见 HttpClient 的主页。 （1）实现了所有 HTTP 的方法（GET,POST,PUT,HEAD 等） （2）支持自动转向 （3）支持 HTTPS 协议 （4）支持代理服务器 （5）支持自动的Cookies管理等 Jsoup jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 网页获取和解析速度飞快，推荐使用。 主要功能如下： 从一个URL，文件或字符串中解析HTML； 使用DOM或CSS选择器来查找、取出数据； 可操作HTML元素、属性、文本； HtmlUnit htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行，被誉为java浏览器的开源实现。这个没有界面的浏览器，运行速度也是非常迅速的。采用的是Rhinojs引擎。模拟js运行。

??在Java中有很多开源的组件来支持各种各样方式的网页抓取，仅仅是使用Java做网页抓取还是比较容易的。主要的网页抓取技术： HttpClient HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。 以下列出的是 HttpClient 提供的主要的功能，要知道更多详细的功能可以参见 HttpClient 的主页。 （1）实现了所有 HTTP 的方法（GET,POST,PUT,HEAD 等） （2）支持自动转向 （3）支持 HTTPS 协议 （4）支持代理服务器 （5）支持自动的Cookies管理等 Jsoup jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 网页获取和解析速度飞快，推荐使用。 主要功能如下： 从一个URL，文件或字符串中解析HTML； 使用DOM或CSS选择器来查找、取出数据； 可操作HTML元素、属性、文本； HtmlUnit htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行

序言 第1章 Scrapy介绍 第2章 理解HTML和XPath 第3章 爬虫基础 第4章 从Scrapy到移动应用 第5章 快速构建爬虫 第6章 Scrapinghub部署 第7章 配置和管理 第8章 Scrapy编程 第9章 使用Pipeline 第10章 理解Scrapy的性能 第11章（完） Scrapyd分布式抓取和实时分析 为了从网页提取信息，了解网页的结构是非常必要的。我们会快速学习HTML、HTML的树结构和用来筛选网页信息的XPath。 HTML、DOM树结构和XPath 从这本书的角度，键入网址到看见网页的整个过程可以分成四步： 在浏览器中输入网址URL。URL的第一部分,也即域名（例如gumtree.com），用来搜寻网络上的服务器。URL和其他像cookies等数据形成了一个发送到服务器的请求request。 服务器向浏览器发送HTML。服务器也可能发送XML或JSON等其他格式，目前我们只关注HTML。 HTML在浏览器内部转化成树结构：文档对象模型（DOM）。 根据布局规范，树结构转化成屏幕上的真实页面。 研究下这四个步骤和树结构，可以帮助定位要抓取的文本和编写爬虫。 URL URL包括两部分：第一部分通过DNS定位服务器，例如当你在浏览器输入 https://mail.google.com/mail/u/0/#inbox 这个地址时，产生了一个

原文： Web Scraping in 2017: Advanced Headless Chrome Tips & Tricks 作者： Martin Tapia 翻译：不二 Headless Chrome是Chrome 浏览器的无界面形态，可以在不打开浏览器的前提下，使用所有 Chrome 支持的特性运行程序。相比于现代浏览器，Headless Chrome 更加方便测试web应用，获得网站的截图，做爬虫抓取信息等，也更加贴近浏览器环境。下面看看作者分享的使用Headless Chrome进行网页抓取的经验。 PhantomJS 的研发已经 停止 ，而Headless Chrome成了热门关注的焦点，大家都很喜欢它，包括我们。在 Phantombuster 公司，网页抓取是我们工作的很大一部分，现在我们广泛使用Headless Chrome。 这篇文章，将告诉你如何快速入门Headless Chrome生态系统，并展示从已经抓取数百万网页中学到的经验。 文章摘要： 1. 有很多库可以控制Chrome，可以根据自己的喜欢选择。 2. 使用Headless Chrome进行网页抓取非常简单，掌握下面的技巧之后更是如此。 3. Headless浏览器访客可以被检测到，但没人这么做。 Headless Chrome简述 Headless Chrome基于PhantomJS

###1. 引言 上一篇《 为编写网络爬虫程序安装Python3.5 》中测试小例子对静态网页做了一个简单的采集程序，而动态网页因为需要动态加载js获取数据，所以使用urllib直接openurl已经不能满足采集的需求了。这里我们使用selenium库，通过它我们可以很简单的使用浏览器来为我们加载动态内容，从而获取采集结果。 在很多案例中，Selenium与PhantomJS搭配采集动态网页内容（可以参看我以前发表的案例文章），直接与Firefox或者Chrome搭配，可以应对一些更加复杂的采集情形，比如，在防爬方面，直接驱动普通浏览器更不容易被识别成爬虫。所以，本文讲解与Firefox搭配，开发难度并没有增加。 Python版本：Python3 ###2. 安装selenium库 使用快捷键win + R或右键开始选择运行，输入cmd回车，打开命令提示符窗口，输入命令：pip install selenium ###3. 以亚马逊商品为例的一个简单爬虫 ####3.1 引入Gooseeker规则提取器模块gooseeker.py (下载地址: https://github.com/FullerHua/gooseeker/tree/master/core ), 自定义存放目录，这里为E:\demo\gooseeker.py 引入GooSeeker规则提取器

网络爬虫（web crawler）又称为网络蜘蛛（web spider）是一段计算机程序，它从互联网上按照一定的逻辑和算法抓取和下载互联网的网页,是搜索引擎的一个重要组成部分。一般的爬虫从一部分start url开始，按照一定的策略开始爬取，爬取到的新的url在放入到爬取队列之中，然后进行新一轮的爬取，直到抓取完毕为止。 我们看一下crawler一般会遇到什么样的问题吧： 抓取的网页量很大 网页更新量也很大，一般的网站，比如新闻，电子商务网站，页面基本是实时更新的 大部分的网页都是动态的，多媒体，或者封闭的（facebook） 海量网页的存在就意味着在一定时间之内，抓取只能的抓取其中的一部分，因此 需要定义清楚抓取的优先级； 网页更新的频繁，也就意味着需要抓取最新的网页和保证链接的有效性， 因此一个更有可能带来新网页的列表页显得尤为重要； 对于新闻网站，新的网站一般出现在首页，或者在指定的分类网页，但是对于淘宝来说，商品的更新就很难估计了；动态网页怎么办呢？现在的网页大都有JS和AJAX，抓取已经不是简单的执行wget下载，现代的网页结构需要我们的爬虫更加智能，需要更灵活的应对网页的各种情况。 因此，对一个通用的爬虫个，我们要定义 抓取策略，那些网页是我们需要去下载的，那些是无需下载的，那些网页是我们优先下载的，定义清楚之后，能节省很多无谓的爬取 更新策略，监控列表页来发现新的页面

Python总结 目录 Python总结 1 前言 2 （一）如何学习Python 2 （二）一些Python免费课程推荐 3 （三）Python爬虫需要哪些知识？ 4 （四）Python爬虫进阶 6 （五）Python爬虫面试指南 7 （六）推荐一些不错的Python博客 8 （七）Python如何进阶 9 （八）Python爬虫入门 10 （九）Python开发微信公众号 12 （十）Python面试概念和代码 15 （十一）Python书籍 23 前言 知乎：路人甲 微博：玩数据的路人甲 微信公众号：一个程序员的日常 在知乎分享已经有一年多了，之前一直有朋友说我的回答能整理成书籍了，一直偷懒没做，最近有空仔细整理了知乎上的回答和文章另外也添加了一些新的内容，完成了几本小小的电子书，这一本是有关于Python方面的。 还有另外几本包括我的一些数据分析方面的读书笔记、增长黑客的读书笔记、机器学习十大算法等等内容。将会在我的微信公众号：一个程序员的日常进行更新，同时也可以关注我的知乎账号：路人甲 及时关注我的最新分享用数据讲故事。 （一）如何学习Python 学习Python大致可以分为以下几个阶段： 1.刚上手的时候肯定是先过一遍Python最基本的知识，比如说：变量、数据结构、语法等，基础过的很快，基本上1~2周时间就能过完了，我当时是在这儿看的基础：Python 简介 |

前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机器达到抓取极限。 Python爬虫这两年貌似成为了一项必备技能，无论是搞技术的，做产品的，数据分析的，金融的，初创公司做冷启动的，都想去抓点数据回来玩玩。这里面绝大多数一共都只抓几万或几十万条数据，这个数量级其实大可不必写爬虫，使用 chrome 插件web scraper或者让selenium驱动 chrome 就好了，会为你节省很多分析网页结构或研究如何登陆的时间。 本篇只关注如何让爬虫的抓取性能最大化上，没有使用scrapy等爬虫框架，就是多线程+Python requests库搞定。 对一个网站定向抓取几十万张页面一般只用解决访问频率限制问题就好了。对机器内存，硬盘空间，URL去重，网络性能，抓取间隙时间调优一般都不会在意。 如果要设计一个单台每天抓取上百万张网页，共有一亿张页面的网站时 ，访问频率限制问题就不是最棘手的问题了，上述每一项都要很好解决才行。硬盘存储，内存，网络性能等问题我们一项项来拆解。 一、优化硬盘存储 所以千万级网页的抓取是需要先设计的，先来做一个计算题。共要抓取一亿张页面，一般一张网页的大小是400KB左右， 一亿张网页就是1亿X200KB=36TB 。这么大的存储需求

（一）如何学习Python 学习Python大致可以分为以下几个阶段： 1.刚上手的时候肯定是先过一遍Python最基本的知识，比如说：变量、数据结构、语法等，基础过的很快，基本上1~2周时间就能过完了，我当时是在这儿看的基础：Python 简介 | 菜鸟教程 2.看完基础后，就是做一些小项目巩固基础，比方说：做一个终端计算器，如果实在找不到什么练手项目，可以在 Codecademy - learn to code, interactively, for free 上面进行练习。 如果时间充裕的话可以买一本讲Python基础的书籍比如《Python编程》，阅读这些书籍，在巩固一遍基础的同时你会发现自己诸多没有学习到的边边角角，这一步是对自己基础知识的补充。 4.Python库是Python的精华所在，可以说Python库组成并且造就了Python，Python库是Python开发者的利器，所以学习Python库就显得尤为重要：The Python Standard Library ，Python库很多，如果你没有时间全部看完，不妨学习一遍常用的Python库：Python常用库 5.Python库是开发者利器，用这些库你可以做很多很多东西，最常见的网络爬虫、自然语言处理、图像识别等等，这些领域都有很强大的Python库做支持，所以当你学了Python库之后，一定要第一时间进行练习。