python使用selenium实现爬虫

匿名 (未验证) 提交于 2019-12-02 22:54:36

1.首先安装 Selenium

先使用命令cmd 打开命令环境,然后输入命令:pip install selenium它会自动为你安装上selenium.

2.使用 Chrome 浏览器来测试安装是否成功,输入以下代码:

from selenium import webdriver  browser = webdriver.Chrome() browser.get("http://www.baidu.com") 

运行这段代码,会自动打开浏览器,然后访问百度。

注意:如果程序执行错误,浏览器没有打开,显示:

WebDriverException: 'chromedriver' executable needs to be in PATH

那么应该是没有装 Chrome 浏览器或者 Chrome 驱动没有配置在环境变量里。下载驱动,然后将驱动文件chromedriver.exe复制到python根目录!!(如 C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32)。

chromedriver下载地址(提醒下,每个驱动要对应你的浏览器版本):

最后补上完整的代码:

from selenium import webdriver from selenium.webdriver.common.keys import Keys  browser = webdriver.Chrome() browser.get("http://www.baidu.com")  elem = browser.find_element_by_name("wd") elem.send_keys("python") elem.send_keys(Keys.RETURN)  print(browser.page_source)
代码完成后并运行,它会自行调用chrome打开百度首页,然后获取搜索框输入Python去搜索,并且在终端中打印网页的整个源代码。


易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!