python爬虫教程：《利用Python爬取表情包》

python爬虫教程：《利用Python爬取表情包》，微信没有表情包？不用愁！老师带领你使用多线程爬虫一键爬取20w的表情包~

项目源码：

 1    2 '''  3 在学习过程中有什么不懂得可以加我的  4 python学习交流扣扣qun，934109170  5 群里有不错的学习教程、开发工具与电子书籍。  6 与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容。  7 '''  8 from pyquery import PyQuery as pq  9 import requests 10 from redis import StrictRedis 11 o=0 12 headers={ 13     'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0' 14   15 } 16   17   18 def xpan(canshu): 19     try: 20         url = 'https://www.doutula.com/photo/list/?page=' + str(canshu) 21         sp = requests.get(url, headers=headers).text 22   23         doc=pq(sp) 24         item=doc('.col-xs-6 img').items() 25   26         for i in item: 27             cu=i.attr('data-original') 28   29   30   31             #r(cu,'F:/斗图的/%s.jpg'%u) 32            # u+=1 33             #print('当前已保存%d张'%u) 34             #print(cu) 35             redis = StrictRedis(host='172.18.200.5', port=6379, db=1, password='') 36             redis.sadd('斗图网下载图片的URL', cu) 37   38     except Exception as e: 39   40        print('出现错误',e.args) 41 a=int(input('请问你需要爬取多少页呢:')) 42 print('正在爬取链接并保存到redis数据库中请稍等........') 43 for i in range(a): 44   45    xpan(i+1) 46   47 redis = StrictRedis(host='172.18.200.5', port=6379, db=1, password='') 48 redis.srem('斗图网下载图片的URL','None') 49 for i in redis.smembers('斗图网下载图片的URL'): 50     t=str(i,encoding='utf8') 51     #print(t) 52     r=t.split('/')[-1] 53     dizhi='F:/斗图/'+r 54     req=requests.get(t) 55     with open(dizhi,'wb')as p: 56         p.write(req.content) 57         print('保存完毕 已保存了%d张'%o) 58         o+=1

来源：博客园

作者：听雪楼萧忆情

链接：https://www.cnblogs.com/xiaoyiq/p/11444645.html

标签

python

python爬虫

url

教程

Redis