【python爬虫实战】使用Selenium webdriver采集山东招考数据
目录 1、目标 2、Selenium webdriver说明 2.1 为什么使用webdriver 2.2 webdriver支持浏览器 2.3 配置与使用说明 3、采集 3.1 分析网站 3.2 遍历省份 3.3 遍历高校 3.4 采集专业数据 3.5 写入mysql 4、源码 1、目标 目标:按地区、高校 采集2020年拟在山东招生的所有专业信息 采集地址: http://xkkm.sdzk.cn/zy-manager-web/gxxx/selectAllDq# 2、Selenium webdriver说明 2.1 为什么使用webdriver Selenium Webdriver是通过各种浏览器的驱动(web driver)来驱动浏览器的,相遇对于使用requests库直接对网页进行解析,效率较低,本次使用webdriver库主要原因是requests库无法解析该网站 2.2 webdriver支持浏览器 Google Chrome Microsoft Internet Explorer 7,8,9,10,11 for Windows Vista,Windows 7,Windows 8,Windows 8.1. Microsoft Edge Firefox Safari Opera 2.3 配置与使用说明 webdriver是通过各浏览器的驱动程序 来操作浏览器的,所以