mozilla

import urllib.request import random from lxml import etree import xlwt import os head =['Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0', 'Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50', 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1', 'Mozilla/5.0

urllib/urllib2默认的User-Agent是Python-urllib/2.7,容易被检查到是爬虫，所以我们要构造一个请求对象，要用到request方法。 1.查看Header信息 2.设置User-Agent模仿浏览器访问数据 Request总共三个参数，除了必须要有url参数，还有下面两个： data（默认空）：是伴随 url 提交的数据（比如要post的数据），同时 HTTP 请求将从 "GET"方式 改为 "POST"方式。 headers（默认空）：是一个字典，包含了需要发送的HTTP报头的键值对 # _*_ coding:utf-8 _*_ import urllib2 # User-Agent是爬虫与反爬虫的第一步 ua_headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'} # 通过urllib2.Request()方法构造一个请求对象 request = urllib2.Request('http://www.baidu.com/',headers=ua_headers) #向指定的url地址发送请求

1. 安装JDK URL： http://www.oracle.com/technetwork/java/javase/downloads/ 2. 配置环境变量 JAVA_HOME = E:\Java\Java\jdk1.7.0_15 PATH = %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin CLASSPATH = .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar 注：上面这行的“.”不能忽略掉了。 然后在windows命令窗口任意目录下，运行命令java -version，或执行成功则安装和配置成功。 3. 安装eclipse URL: http://www.eclipse.org/downloads/ 4. 安装TestNG 可直接安装 Help->Install New Software 验证方法：file-->new-->other-->TestNg 5. 下载Selenium IDE、SeleniumRC、IEDriverServer,WebDriver 1) Selenium IDE：selenium_ide-2.9.1-fx.xpi 用来在Firefox上录制脚本。 2) Selenium RC：selenium-server-standalone-3.4.0.jar 模拟服务器端，selenium 1

最近在学习Selenium，主要看的是C#版和java版，目前先搭建好了C#的环境，java的后期再搭建，这里先总结一下在vs2013里搭建环境时所遇到的坑，以便分享和后期避免。 首先就是selenium的包的下载，由于某些原因，没法访问selenium 官网下载对应得dll包，所以只能到国内的网站寻找并下载.nupkg为后缀的文件，以前没有接触过这种离线文件的操作，找了一些资料现学了一下，由于网络原因，费了不少时间。 步骤： 1 在VS里新建一个项目，选择工具----选项----NuGet程序包管理器（如果没有这个的，可以选择工具--扩展和更新，先安装好）—程序包源。可以按照图所示的操作找到下载的nupkg的位置，并做好命名操作。 好啦，接下来就是安装啦！ 2 安装 点击工具----NuGet包管理器—管理解决方案的NuGet程序包，找到联机下的上图4命名的项，依次安装即可。到目前为止就算把包安装完成了，下面就是在项目中引用了。 3 引用。 在项目开始，需要引入以下内容。 using OpenQA.Selenium; using OpenQA.Selenium.IE; //针对IE using OpenQA.Selenium.Chrome;//针对Chrome using OpenQA.Selenium.Firefox;//针对IE火狐 class Program {

1.下载jdk1.8 环境变量我的博客有我就不说 selenium下载地址:http://npm.taobao.org/mirrors/selenium 2.下载eplise 网盘地址:链接：https://pan.baidu.com/s/1zXtQHY5hb2IBolA0PhmmJg 密码：bol4 3.使用WebDriver在Chrome浏览器上进行测试时，需要从 http://chromedriver.storage.googleapis.com/index.html 网址中下载与本机chrome浏览器对应的驱动程序，驱动程序名为chromedriver； 4.火狐驱动下载地址:https://github.com/mozilla/geckodriver/releases/ 5.IE的驱动IEdriver 下载地址： http://www.nuget.org/packages/Selenium.WebDriver.IEDriver/ 火狐驱动: http://ftp.mozilla.org/pub/firefox/releases/ 谷歌驱动:http://npm.taobao.org/mirrors/chromedriver/ selenium3.5 firefox 55.0 Firefox driver geckodriver-v0.19.0-win64.zip

俗话说，“工欲善其事，必先利其器”。对于前端开发工程师来说，基于Firefox丰富的Web开发辅助插件无疑就是最好的利器。下面就与大家分享24款武装Firefox的Web开发插件。 开发工具 1. Web Developer 1.1.8 https://addons.mozilla.org/en-US/firefox/addon/60 以工具栏的形式对网页的(X)HTML、脚本、多媒体、CSS、缓存、图象等多方面的实用工具。使我们能轻易的获得网页的更多信息，使我们进一步的了解当 前所浏览的网页。 说明：超强的web分析工具，开发人员必装。 2. Firebug 1.5.0 https://addons.mozilla.org/en-US/firefox/addon/1843 Firebug是firefox下的一个插件,能够调试所有网站语言,如Html,Css等，但FireBug最吸引我的就是javascript调试 功能，使用起来非常方便，而且在各种浏览器下都能使用（IE,Firefox,Opera, Safari），简直难以置信。除此之外，其他功能还很强大。比如html,css,dom的察看与调试，网站整体分析等等。总之就是一整套完整而强大的 WEB开发工具。 说明：查看，编辑，Debug页面的CSS,HTML,JavaScript。超强的开发调试的工具，开发人员必装。 3.

转载于 无风 的博客 Web Developer 1.1.8 　　 https://addons.mozilla.org/en-US/firefox/addon/60 　　 以工具栏的形式对网页的(X)HTML、脚本、多媒体、CSS、缓存、图象等多方面的实用工具。使我们能轻易的获得网页的更多信息，使我们进一步的了解当前所浏览的网页。 　　说明：超强的web分析工具，开发人员必装。 　　 Firebug 1.5.0 　　 https://addons.mozilla.org/en-US/firefox/addon/1843 　 　Firebug是firefox下的一个插件,能够调试所有网站语言,如Html,Css等，但FireBug最吸引我的就是javascript调试 功能，使用起来非常方便，而且在各种浏览器下都能使用（IE,Firefox,Opera, Safari），简直难以置信。除此之外，其他功能还很强大。比如html,css,dom的察看与调试，网站整体分析等等。总之就是一整套完整而强大的 WEB开发工具。 　　说明：查看，编辑，Debug页面的CSS,HTML,JavaScript。超强的开发调试的工具，开发人员必装。 　　 LinrLightWeb 0.2.1 　　 https://addons.mozilla.org/zh-CN/firefox/addon/14068

开发工具 　　Web Developer 1.1.8 　　 https://addons.mozilla.org/en-US/firefox/addon/60 　　 以工具栏的形式对网页的(X)HTML、脚本、多媒体、CSS、缓存、图象等多方面的实用工具。使我们能轻易的获得网页的更多信息，使我们进一步的了解当前所浏览的网页。 　　说明：超强的web分析工具，开发人员必装。 　　 Firebug 1.5.0 　　 https://addons.mozilla.org/en-US/firefox/addon/1843 　 　Firebug是firefox下的一个插件,能够调试所有网站语言,如Html,Css等，但FireBug最吸引我的就是javascript调试 功能，使用起来非常方便，而且在各种浏览器下都能使用（IE,Firefox,Opera, Safari），简直难以置信。除此之外，其他功能还很强大。比如html,css,dom的察看与调试，网站整体分析等等。总之就是一整套完整而强大的 WEB开发工具。 　　说明：查看，编辑，Debug页面的CSS,HTML,JavaScript。超强的开发调试的工具，开发人员必装。 　　 LinrLightWeb 0.2.1 　　 https://addons.mozilla.org/zh-CN/firefox/addon/14068 　　F

from: 软件过滤： 排序： 收录时间 | 浏览数 网页开发FireFox插件 Firebug Firebug是Firefox下的一款开发类插件，现属于Firefox的 五星级强力推荐插件之一。它集HTML查看和编辑、Javascript控制台、网络状况监视器于一体，是开发JavaScript、CSS、HTML和 Ajax的得力助手。Firebug如同一把精巧的瑞士军刀，从各个不同的角度剖析Web... 更多Firebug信息 最近更新： Firebug 2.0.2 发布，Firefox 调试利器 发布于 4天前 Firebug的jQuery开发伴侣 FireQuery 来自Antonin Hildebrand的FireQuery是一个非常简洁的帮助firebug添加jQuery支持的工具。它是在Firebug里开发jQuery的最佳伴侣。大家有兴趣可以试试，保证事半功倍！ 主要功能如下： jQuery相关语句就自然的出现在Firebug的控制台和DOM查看器里 jQuery相关数... 更多FireQuery信息 浏览器上的SSH客户端 FireSSH FireSSH 是一个免费跨平台支持的在Firefox浏览器上实现 SSH 远程终端客户的的插件，完全采用 JavaScript 编写。 只需要在地址栏输入 ssh://username@IP地址 即可连接目标服务器。

开发工具 　　Web Developer 1.1.8 　　 https://addons.mozilla.org/en-US/firefox/addon/60 　　 以工具栏的形式对网页的(X)HTML、脚本、多媒体、CSS、缓存、图象等多方面的实用工具。使我们能轻易的获得网页的更多信息，使我们进一步的了解当前所浏览的网页。 　　说明：超强的web分析工具，开发人员必装。 　　 Firebug 1.5.0 　　 https://addons.mozilla.org/en-US/firefox/addon/1843 　 　Firebug是firefox下的一个插件,能够调试所有网站语言,如Html,Css等，但FireBug最吸引我的就是javascript调试 功能，使用起来非常方便，而且在各种浏览器下都能使用（IE,Firefox,Opera, Safari），简直难以置信。除此之外，其他功能还很强大。比如html,css,dom的察看与调试，网站整体分析等等。总之就是一整套完整而强大的 WEB开发工具。 　　说明：查看，编辑，Debug页面的CSS,HTML,JavaScript。超强的开发调试的工具，开发人员必装。 　　 LinrLightWeb 0.2.1 　　 https://addons.mozilla.org/zh-CN/firefox/addon/14068 　　F