webdriver

一、显示等待（有条件等待） 常见问题： 定位明明是对的，为什么运行代码没找到定位。 定位明明是对的，找到定位了，文本信息为什么取到是空的？ 分析原因： 没有处理frame 页面渲染速度比自动化测试的代码慢，页面还没渲染出来就定位了 异步请求，后端还未返回给前端，自动化测试代码就去获取页面文本数据 一些同学的解决解决方案： 加上time.sleep() 设置全局隐式等待，dr.implicitly_wait() 分析解决方案: 解决方案一，我们不能够确定准确的强制等待时间(代码休眠时间)，导致自动化代码不稳定性大大增加，尤其是网络波动的影响，会导致页面加载速度变慢 全局等待虽可以解决一部分定位问题，例如需要定位的标签属性显现，但是如果像异步请求，需等待带有文本信息的相应，并渲染在页面上，不能确定在自动化代码执行获取文本信息的时候，页面已经渲染好所需要的文本信息 什么是显示等待？ 条件满足后，不再等待 二、显示等待相关类 Wait.py class WebDriverWait(object): def __init__(self, driver, timeout, poll_frequency=POLL_FREQUENCY, ignored_exceptions=None): """构造函数，需要一个WebDriver实例并以秒为单位超时 :参数: - driver -

目录 0、前言 1、初始化 2、爬取数据 3、保存数据 4、数据可视化 5、大功告成 0、前言 最近，博主面临着选方向的困难（唉，选择困难症患者 ＞﹏＜），所以希望了解一下目前不同岗位的就业前景 这时，就不妨写个小爬虫，爬取一下 拉勾网 的职位数据，并用图形化的方法展示出来，一目了然 整体的 思路 是采用 selenium 模拟浏览器的行为，具体的步骤如下： 初始化 爬取数据，这里分为两个部分：一是爬取网页数据，二是进行翻页操作 保存数据，将数据保存到文件中 数据可视化 整体的 代码结构 如下： class Lagou: # 初始化 def init(self): pass # 爬取网页数据 def parse_page(self): pass # 进行翻页操作 def turn_page(self): pass # 爬取数据，调用 parse_page 和 turn_page def crawl(self): pass # 保存数据，将数据保存到文件中 def save(self): pass # 数据可视化 def draw(self): pass if __name__ == '__main__': obj = Lagou() obj.init() obj.crawl() obj.save() obj.draw() 好，下面我们一起来看一下整个爬虫过程的详细分析吧！！ 1

在页面操作过程中有时候点击某个链接会弹出新的窗口，这时就需要主机切换到新打开的窗口上进行操作。WebDriver提供了switch_to.window()方法，可以实现在不同的窗口之间切换。 以百度首页和百度注册页为例，在两个窗口之间的切换。 多窗口切换1.py # coding=utf-8 from selenium import webdriver import time # 访问百度 driver = webdriver.Chrome() driver.get("http://www.baidu.com") # 获取百度搜索窗口句柄 search_windows = driver.current_window_handle driver.find_element_by_xpath('/html/body/div[1]/div[1]/div/div[3]/a[7]').click() time.sleep(3) driver.find_element_by_xpath('/html/body/div[4]/div[2]/div[2]/div/div/div/div/div/div[3]/a').click() # 获取打开所有窗口句柄 all_handles = driver.window_handles # 进入注册窗口 for handle in all_handles:

selenium 常见元素操作 三大等待 三大切换(iframe,window,alert) 下拉列表 鼠标和键盘 js+ dom应用() 上传操作 强制等待：time.sleep() （译：私立破） 　　必须等待固定时间后才可以往下运行 from selenium import webdriver import time # 强制等待需要导入time，使用其中的sleep方法 # 强制等待 sleep（译：私立破） # 打开谷歌浏览器，建立会话。启动Chromedriver.exe 打开Chrome driver = webdriver.Chrome() # 访问百度首页 driver.get("http://www.baidu.com") # 点击登录按钮 driver.find_element_by_xpath('//div[@id="u1"]//a[@name="tj_login"]').click() # # 强制等待5秒，在进行下一步操作 time.sleep(10) # 点击 用户名登录 按钮 driver.find_element_by_id("TANGRAM__PSP_10__footerULoginBtn").click() # 强制等待5秒后关闭浏览器 time.sleep(10) driver.quit() 智能等待分为：隐形等待、显性等待 隐形等待