url

Nginx Rewrite重写 引言：对于rewrite是什么？大家看字面意思就是重写的意思，重写是什么？不知道的人如果去百度rewrite，竟然会百度出来一部动漫？ enmm，还是打全rewrite去了解一下情况比较好。 Rewrite跳转场景 #URL看起来更规范，合理 #企业会将动态URL地址伪装成静态地址提供服务 #网址换新域名后，让旧的访问跳转到新的域名上 #服务端某些业务调整 Rewrite 跳转实现 模块全称：ngx_http_rewrite_module Nginx：支持资源定位URL重写，支持if条件判断，但不支持else PCRE支持 跳转：循环最多可以执行10次，超过后nginx将返回500错误 重写模块set指令 rewrite使用Nginx全局变量或自己设置的变量，结合正则表达式和标志位实现URL重写以及重定向 Rewrite实用场景 Nginx跳转需求的实现方式 #使用rewrite进行匹配跳转 #使用if匹配全局变量后跳转 #使用location匹配再跳转 rewrite放在server{},if{},location{}段中 对域名或参数字符串 #使用if全局变量匹配 #使用proxy_pass反向代理 Nginx正则表达式 #常用的正则表达式元字符 ^:匹配输入字符串的起始位置(符号像牛角，所以是起始) $:匹配输入字符串的结束位置

1 写在前面 最近想要在百度网盘里面搜索一些pdf资源，打开以前保存的一个专门搜索百度网盘资源的页面 so.baiduyun.me ，页面转了好久，终于出来，但是出现的却是Error 522，链接失效了。最后，在网上找到一个可以用的地址 http://pan.java1234.com/ ，这个地址确实可以搜索百度网盘资源，但是广告超级多，稍有不慎，就进入了一个广告页面，神烦。当时就想能不能寻找到这个网页中资源搜索的地址，然后自己根据这个地址来模拟请求，从而获得查询结果。打开浏览器的调试工具，随意输入一个关键字进行查询，点击查询，然后进行分析。分析发现了一个url请求返回的正是百度网盘搜索结果，数据是json格式。找到了这个获取搜索结果url之后就好办了。我们可以完全自己写一个Winform界面，然后通过这个url去模拟请求，获取结果，这样就没有广告了，想怎么弄就怎么弄，下面介绍一下，如何完成这一系列的过程。 2 分析 2.1 获取请求头信息 实现这个程序的关键就是如何获取 http://pan.java1234.com/ 百度网盘搜索结果的url，首先我们打开这个页面，启动浏览器调试，然后随意输入一个关键字，点击查询。 上图我们可以看到，有一个请求url，返回来的结果就是页面上显示的搜索结果。我们可以看看它的请求地址以及请求头信息。 通过查看headers面板可以知道请求信息如下：

SRC目标搜集 文章类的平台 https://www.anquanke.com/src 百度搜索 首先得知道SRC厂商的关键字，利用脚本搜集一波。 比如【应急响应中心】就可以作为一个关键字。通过搜索引擎搜索一波，去重，入库。 # -*- coding:utf-8 -*- ''' 从百度把前10页的搜索到的url爬取保存 ''' import multiprocessing # 利用pool进程池实现多进程并行 # from threading import Thread 多线程 import time from bs4 import BeautifulSoup # 处理抓到的页面 import sys import requests import importlib importlib.reload(sys) # 编码转换，python3默认utf-8,一般不用加 from urllib import request import urllib ''' all = open('D:\\111\\test.txt', 'a') all.seek(0) #文件标记到初始位置 all.truncate() #清空文件 ''' headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q

Postman介绍 Postman是google开发的一款功能强大的网页调试与发送网页HTTP请求，并能运行测试用例的的Chrome插件。其主要功能包括： 模拟各种HTTP requests 从常用的 GET、POST 到 RESTful 的 PUT 、 DELETE …等等。 甚至还可以发送文件、送出额外的 header。 Collection 功能（测试集合） Collection 是 requests的集合，在做完一個测试的時候， 你可以把這次的 request 存到特定的 Collection 里面，如此一來，下次要做同样的测试时，就不需要重新输入。而且一个collection可以包含多条request，如果我们把一个request当成一个test case，那collection就可以看成是一个test suite。通过collection的归类，我们可以良好的分类测试软件所提供的API.而且 Collection 还可以 Import 或是 Share 出來，让团队里面的所有人共享你建立起來的 Collection。 人性化的Response整理 一般在用其他工具來测试的時候，response的内容通常都是纯文字的 raw， 但如果是 JSON ，就是塞成一整行的 JSON。这会造成阅读的障碍 ，而 Postman 可以针对response内容的格式自动美化。 JSON

转：获取网页URL地址及参数等的两种方法(js和C#) 一 js 先看一个示例 用javascript获取url网址信息 <script type="text/javascript"> document.write("location.host="+location.host+"<br>"); document.write("location.hostname="+location.hostname+"<br>"); document.write("location.href="+location.href+"<br>"); document.write("location.pathname="+location.pathname+"<br>"); document.write("location.protocol="+location.protocol+"<br>"); </script> 执行 用javascript获取url网址信息 代码效果如下 location.host= www.vnde.cn location.hostname= www.vnde.cn location.href= http://www.vnde.cn/bc/2008/0306/article_1860.html location.pathname= /bc/2008/0306/article

今天项目需要向asp的客户url Post数据,可是url中文就是不行. 搞了一个下午是asp 和asp.net 的url编码不一样的事: 先看下面两个Url，他们传递的参数一样么？ aaa.aspx?tag=.net%bc%bc%ca%f5 aaa.aspx?tag=.net%e6%8a%80%e6%9c%af 看起来好像是不一样，其实他们都是对".net技术"进行了UrlEncode，不过一个是GB2312的编码，一个是Utf-8的编码。 如下代码就可以获得上面的编码后效果： string tmp1 = System.Web.HttpUtility.UrlEncode(".net技术", System.Text.Encoding.GetEncoding("GB2312")); string tmp2 = System.Web.HttpUtility.UrlEncode(".net技术", System.Text.Encoding.UTF8); 我们实际的Web页面，可能会被其他程序调用。 比如：简体中文操作系统上的一个ASP页面，需要向一个ASP.net页面传递一个带中文的参数。 默认情况下，简体中文操作系统上， ASP 的 Server.UrlEncode 方法会把中文以GB2312的编码进行编码， 但是默认情况下，ASP.net的页面是采用的UTF-8编码。 这种情况下

OkHttp 简介 OkHttp 库的设计和实现的首要目标是高效。这也是选择 OkHttp 的重要理由之一。OkHttp 提供了对最新的 HTTP 协议版本 HTTP/2 和 SPDY 的支持，这使得对同一个主机发出的所有请求都可以共享相同的套接字连接。如果 HTTP/2 和 SPDY 不可用，OkHttp 会使用连接池来复用连接以提高效率。OkHttp 提供了对 GZIP 的默认支持来降低传输内容的大小。OkHttp 也提供了对 HTTP 响应的缓存机制，可以避免不必要的网络请求。当网络出现问题时，OkHttp 会自动重试一个主机的多个 IP 地址。 在 Java 程序中使用 OkHttp 非常简单，只需要在 Maven 的 POM 文件中添加 代码清单 1 中的依赖即可。目前 OkHttp 的最新版本是 2.5.0。 清单 1. OkHttp 的 Maven 依赖声明 <dependency> <groupId>com.squareup.okhttp</groupId> <artifactId>okhttp</artifactId> <version>2.5.0</version> </dependency> HTTP 连接 虽然在使用 OkHttp 发送 HTTP 请求时只需要提供 URL 即可，OkHttp 在实现中需要综合考虑 3 种不同的要素来确定与 HTTP

一 OKHttp简介 OKHttp是一个处理网络请求的开源项目，Android 当前最火热网络框架，由移动支付Square公司贡献，用于替代HttpUrlConnection和Apache HttpClient(android API23 6.0里已移除HttpClient）。 OKHttpGitHub地址 OKHttp优点 支持HTTP2/SPDY（SPDY是Google开发的基于TCP的传输层协议，用以最小化网络延迟，提升网络速度，优化用户的网络使用体验。） socket自动选择最好路线，并支持自动重连，拥有自动维护的socket连接池，减少握手次数，减少了请求延迟，共享Socket,减少对服务器的请求次数。 基于Headers的缓存策略减少重复的网络请求。 拥有Interceptors轻松处理请求与响应（自动处理GZip压缩）。 OKHttp的功能 PUT，DELETE，POST，GET等请求 文件的上传下载 加载图片(内部会图片大小自动压缩) 支持请求回调，直接返回对象、对象集合 支持session的保持 二 OkHttp3使用 主要介绍 OkHttp3 的 Get 请求、 Post 请求、 上传下载文件 、 上传下载图片等功能 。 添加OkHttp3的依赖 compile 'com.squareup.okhttp3:okhttp:3.7.0' compile 'com