Python爬虫:爬取虎牙星秀主播图片
Python爬虫:爬取虎牙星秀主播图片 动态爬取思路讲解 导入需要的python模块 通过爬虫获得的主播图片 在Pycharm中所敲的代码 代码中涉及的模块详解 Python 之禅 动态爬取思路讲解 1.简单的爬虫只需要访问网站搜索栏处的url,就可以在开发者工具(F12)处,利用正则表达式、Xpath、css等进行定位并抓取数据; 2.虎牙星秀页面不同于简单的网页,随时都在更新,但搜索栏处的url并未改变,所以它是一个动态加载(ajax)的页面; 3.需要在开发者工具界面处对network进行抓包,提取真正给网站页面提供图片链接的url; 4.通过抓包的url,会发现打开的是一个json格式的文本,在里面可以抓取到需要的数据以及链接; 5.最后我们就可以打开Pycharm,活动小手指,敲击小键盘啦!!! (不要太忘情,打扰到身边的小伙伴哦~) 导入需要的python模块 通过pip install 模块名,本人使用的是Anaconda Prompt导入 import requests import os import json import time from random import randint 使用Python导入的话比较麻烦,所以强烈建议大家使用Anaconda导入模块。 通过爬虫获得的主播图片 链接: https://www.huya.com/g/xingxiu