Python最简单的图片爬虫,20行代码带你爬遍整个网站
前言 网络上的信息很多,有的时候我们需要关键字搜索才可以快速方便的找到我们需要的信息。今天我们实现搜索关键字爬取堆糖网上相关的美图,零基础学会通用爬虫,当然我们还可以实现多线程爬虫,加快爬虫爬取速度 环境: windows pycharm python3 导入模块 import urllib.parse import json import requests import jsonpath 确定目标网址 url = ' https://www.duitang.com/napi/blog/list/by_search/?kw={}&start={} ' 分析网站,确定爬取目标 label = ' 美女 ' label = urllib.parse.quote(label) 发送请求,提取数据 num = 0 for index in range(0,2400,24 ): u = url.format(label,index) we_data = requests.get(u).text 类型转换 html = json.loads(we_data) photo = jsonpath.jsonpath(html, " $..path " ) 保存数据 for i in photo: a = requests.get(i) with open(r ' C:\Users