前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 今天来教大家如何使用Python来爬取博海拾贝的图片,分类保存,写入文档。 项目目标 创建一个文件夹, 分类保存所有文章图片。下载成功,结果显示控制台。 项目分析 1、如何找到真正访问的地址,多网页请求? 滑动鼠标,观察网站,右键F12 。鼠标滚轮滑动加载新内容。如图: 点开随机网页 , 点开Request URL ,观察网址的规律。 https:/ /bh.sb/page /1/ https ://bh.sb/page/ 2/ https:/ /bh.sb/page /3/ https ://bh.sb/page/ 4/ 观察到,每增加一页page/{}/自增加1,用{}代替变换的变量,再用for循环遍历这网址,实现多个网址请求。 2. 反爬处理 1)获取正常的 http请求头,并在requests请求时,设置这些常规的http请求头。 2)使用 fake_useragent ,产生随机的UserAgent进行访问。 涉及的库和网站 1、网址如下: https: //www.doutula.com/photo/list/?page={} 2、涉及的库:requests、lxml、fake_useragent、time、os 3、软件:PyCharm