url

python爬取拉勾网---成功解决:'status': False, 'msg': '您操作太频繁,请稍后再访问', 'clientIp': '117.136.41.XX', 'state': 2

旧巷老猫 提交于 2020-02-17 22:43:56
初次用python写爬虫,听说拉勾网反爬机制最厉害,今天学完python语法就上 试着爬取java后端开发招聘情况,没想第一步一来就out !!! 错误代码示范: from urllib import request from urllib import parse url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false' headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' , 'Referer' : 'https://www.lagou.com/jobs/list_python?labelWords=sug&fromSearch=true&suginput=py' } data = { 'first' : 'true' , 'pn' : 1, 'kd' : 'python' } content = request.Request ( url, headers = headers, data = parse.urlencode ( data ) .encode

RobotFramework下的http接口自动化Get关键字的使用

十年热恋 提交于 2020-02-17 18:50:45
在使用 Create Http Context 关键字创建了http的调用环境后,就可以使用 Get 关键字来发送一个http协议中最常用的get请求了。 Get 关键字只接受一个url参数,该关键字的API中对url的原始描述是:`url` is the URL relative to the server root。 示例1:使用get请求访问百度主页 Create Http Context host=www.baidu.com:80 scheme=http GET / 执行结果: 示例2:使用get请求访问RobotFramework主页下的examples Create Http Context robotframework.org scheme=http GET /#examples 执行结果: 示例3:使用get请求访问一个带有传入参数的示例 Create Http Context sp0.baidu.com scheme=https GET /5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=htt&json=1&p=3&sid=22584_1441_21089_22176_20928&req=2&csor=0&pwd=ht&cb=jQuery110201988529936624046_1492182668411&_=1492 182668416 $

axios

孤人 提交于 2020-02-17 18:07:09
一、说明 Axios是一个基于Promise(ES6中用于处理异步的)的HTTP库,用于浏览器和node.js中, API 。 浏览器中创建XMLHttpRequests 从node.js中创建http请求 支持Promise API 拦截请求和响应 转换请求数据和响应数据 取消请求 自动转换JSON数据 客户端支持防御XSRF 二、安装 npm安装: npm i axios ; 使用cdn:<script src="https://unpkg.com/axios/dist/axios.min.js"></script> 三、常用api说明 可使用 万能地址 发送做测试。客户端使用即在原来ajax代码替换成axios。 1、get请求 axios.get(url[, config]) // 为给定 ID 的 user 创建请求 axios . get ( '/user?ID=12345' ) . then ( function ( response ) { console . log ( response ) ; } ) . catch ( function ( error ) { console . log ( error ) ; } ) ; // 可选地,上面的请求可以这样做 axios . get ( ’/user’ , { params : { ID : 12345 } }

接口测试介绍

对着背影说爱祢 提交于 2020-02-17 17:33:43
接口的概念&特点: 接口的概念: 软件由许多模块构成,软件的功能往往不是某个单独的模块来实现的,而是由模块跟模块之间协作共同实现某个功能,这种模块间的的交互就是通过接口来实现的,我们可以理解为接口就是自己提供给外界的一种抽象物,或者说是一种沟通的协议。 接口测试的本质 :其实所谓的接口测试本质就是功能测试,只不过我们采用测试接口的方式来测试功能。我们对接口的操作最终会发送到数据库,也就是对数据库进行一些列增、删、改、查的操作。 接口测试的优势 : 接口测试的优势在于,当一个页面还未开发完成的时候,测试可以提前介入,测试软件的功能。接口测试可以发现一些页面操作发现不了的问题,测试介入的越早,解决bug的成本越低。 接口的分类: 依据开放性划分 外部接口:也就是所谓的openapi,是软件对用户可见的接口(包括对应发布的接口文档),用户可以通过工具调取相应接口实现需要的功能。测试人员一般都是测试openapi 。 内部接口:内部模块间的接口,用户不可见,公司内部人员可见的接口。 依据类型划分 webService(SOAP)接口:走soap协议,通过http传输,请求的报文和返回的报文都是xml格式的,需要通过工具进行调用和测试。 Http API接口:目前较常见的接口,走http协议,通过路径来区分调用的方法,请求的报文都是key-value形式的,返回的报文一般都是json串

C 标签使用

不问归期 提交于 2020-02-17 16:02:24
JSTL 核心标签库标签共有13个,功能上分为4类: 1.表达式控制标签: out、 set、 remove、 catch 2.流程控制标签: if、 choose、 when、 otherwise 3.循环标签: forEach、 forTokens 4.URL操作标签: import、 url、 redirect 使用标签时,一定要在jsp文件头加入以下代码: <%@taglib prefix="c" uri="http://java.sun.com/jsp/jstl/core" %> 下面分别对这些标签进行说明: 1. <c:out> 用来显示数据对象(字符串、表达式)的内容或结果 使用Java脚本的方式为:<% out.println("hello") %> <% =表达式 %> 使用JSTL标签:<c:out value="字符串">,例如: <body> <c:out value="&lt要显示的数据对象(未使用转义字符)&gt" escapeXml="true" default="默认值"></c:out><br/> <c:out value="&lt要显示的数据对象(使用转义字符)&gt" escapeXml="false" default="默认值"></c:out><br/> <c:out value="${null}" escapeXml="false"

Jdbc连接

喜欢而已 提交于 2020-02-17 11:10:05
ConnectionFactory 类 package com.oaec.shopping.jdbc; import java.io.IOException; import java.sql.Connection; import java.sql.DriverManager; import java.util.Properties; public class ConnectionFactory { private static String DRIVER; private static String URL; private static String UNAME; private static String UPASS; // 在类被加载时执行,只会执行一次 static { // 从配置文件读取键值对 // 存储键值对--集合 Properties prop = new Properties(); try { // 把properties文件中的数据加载到prop对象中 // 要求:ConnectionFactory类和jdbc.properties在同一个包下 prop.load(ConnectionFactory.class.getResourceAsStream("jdbc.properties")); // value=getProperty(key):通过键获取值

python爬虫(七)_urllib2:urlerror和httperror

我与影子孤独终老i 提交于 2020-02-17 10:19:14
urllib2的异常错误处理 在我们用 urlopen或opener.open 方法发出一个请求时,如果 urlopen或opener.open 不能处理这个response,就产生错误。 这里主要说的是URLError和HTTPError,以及对它们的错误处理。 URLError URLError产生的原因主要有: 没有网络连接 服务器链接失败 找不到指定的服务器 我们可以用 try except 语句来补货相应的异常。下面的例子里我们访问了一个不存在的域名。 #urllib2_urlerror.py import urllib2 request = urllib2.Request("http://www.sdfsdfsf.com") try: urllib2.urlopen(request, timeout= 5) except urllib2.URLError, err: print err 运行结果如下: <urlopen error [Errno 8] nodename nor servname provided, or not known> urlopen error,错误代码8.错误原因是没有找到指定的服务器。 HTTPError HTTPError是URLError的子类,我们发出一个请求时,服务器都会对应一个response应答对象,其中它包含一个数字"响应状态码

JDBC连接

戏子无情 提交于 2020-02-17 10:18:34
JDBC的URL=协议名+子协议名+数据源名。 协议名总是“jdbc”。 子协议名由JDBC驱动程序的编写者决定。 数据源名也可能包含用户与口令等信息;这些信息也可单独提供。 mysql连接 规则 驱动:com.MySQL.jdbc.Driver URL:jdbc:mysql://machine_name:port/dbname 注1:machine_name:数据库所在的机器的名称; 注2:port:端口号,默认3306 driverClassName="com.mysql.jdbc.Driver" url="jdbc:mysql://127.0.0.1:23306/School?useSSL=true&characterEncoding=utf8" user="root" password="root" oracle连接 规则 驱动:oracle.jdbc.driver.OracleDriver URL:jdbc:oracle:thin:@machine_name:port:dbname 注1:machine_name:数据库所在的机器的名称; 注2:port:端口号,默认是1521 driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:thin:@127.0.0.1:1521:orcl" user="test"

微信小程序api接口调用用封装

跟風遠走 提交于 2020-02-17 09:12:10
微信小程序api接口调用用封装 1. 在 02-项目 下新建request目录及index.js文件 1.1 02-项目\request\index.js 1.2.index.js // 同时发送异步代码的次数 let ajaxTimes=0; export const request=(params)=>{ // 判断 url中是否带有 /my/ 请求的是私有的路径 带上header token let header={...params.header}; if(params.url.includes("/my/")){ // 拼接header 带上token header["Authorization"]=wx.getStorageSync("token"); } ajaxTimes++; // 显示加载中 效果 wx.showLoading({ title: "加载中", mask: true }); // 定义公共的url const baseUrl="https://api.zbztb.cn/api/public/v1"; return new Promise((resolve,reject)=>{ wx.request({ ...params, header:header, url:baseUrl+params.url, success:(result)=>{

Best way to format pretty URLs for numeric IDs

廉价感情. 提交于 2020-02-17 06:51:29
问题 Alright, so let's say I'm writing a forum application, and I want pretty URLs. However, all my tables use numeric IDs, so I'm not sure the best way to format the URLs for those resources. Let's pretend I'm trying to get a topic with ID 123456 and title This is a forum post . I've seen it done a couple ways: www.example.com/topic/123456 www.example.com/topic/this-is-a-forum-post www.example.com/topic/123456/this-is-a-forum-post Which one would you say is, taking all things into consideration