Python爬虫入门教程 78-100 用Scrapy+BloomFilter再写个增量爬虫

Python爬虫入门教程 78-100

• • 写在前面
  • BloomFilter（布隆过滤器）使用场景
  • pybloom_live快速入门
  • scrapy爬虫代码
  • 设置scrapy定时任务
  • 写在后面

写在前面

今天是第78篇Python爬虫博客了，在这里立个Flag，争取在10月1日之前把爬虫百例写完，如果你从第一篇看到现在，你应该是一个合格的爬虫Coder了，继续加油！！

继续搞定增量爬虫，本文涉及两个Python模块，一个为Scrapy，另一个是BloomFilter

BloomFilter（布隆过滤器）使用场景

关于BloomFilter是谁发明的以及为什么发明，本文就不在赘述了，下面主要给大家分享一下BloomFilter使用的场景

1. 黑名单应用（邮件黑名单）
2. 网络爬虫去重（和我们要学的增量爬虫产生了关联）
3. KV系统快速判断Key是否存在
4. 减少缓存穿透（具体没尝试过，不做过多的解释，可以参照：http://blog.itpub.net/31561269/viewspace-2639083/ 博客内容）

今天需要掌握的一个库叫做pybloom_live 关于它的源码，最新的版本参照

来源：oschina

链接：https://my.oschina.net/u/4385177/blog/4534330