post请求

一直在用webservice对接，后来新项目用到了restful api 从其他同事地方拿来学习 using System; using System.Collections; using System.Collections.Generic; using System.Collections.Specialized; using System.ComponentModel; using System.Drawing; using System.Globalization; using System.IO; using System.Linq; using System.Net; using System.Reflection; using System.Text; using System.Xml.Serialization; using Newtonsoft.Json; using Newtonsoft.Json.Serialization; namespace OpenHttp { /// <summary> /// Http头信息 /// </summary> public class HttpHead { /// <summary> /// 初始化HttpHread /// </summary> public static HttpHead Builder => new

首先,需要理解cookies的含义，是存储在浏览器中的内容，在本地存储任意键值对，第一次访问时服务器返回一个id存储到本地cookie中，第二次访问将cookies一起发送到服务器中 常见http状态码 code 说明 200 请求成功 301/302 永久重定向/临时重定向 403 没有权限访问 404 没有对应的资源 500 服务器错误 503 服务器停机或正在维护 要爬取知乎内容首先需要进行登录，在本文中我们主要介绍2种登录方式，第一种是通过requests的session保存cookies进行登录，第二种是通过 scrapy 修改 start_requests 函数进行登录 <!--more--> requests进行登录 在utils中新建 zhihu_login.py ，实例化一个session对象，设置其cookies对象为 cookiesjar 库中的 LWPCookieJar 对象，设置requests库需要用到的headrs（从浏览器中进行拷贝）， session = requests . session () session . cookies = cookiejar . LWPCookieJar ( filename = 'zhihu_cookies.txt' ) headers = { 'User-Agent' : 'Mozilla/5.0

一般我们实现excel导出都是直接重定向或form表单提交，但如果后台发生异常，提示信息就会在新窗口以文本形式展示，很不友好，这里推荐另一种实现方式，使用post请求，并可以传递自定义错误信息： 前端使用axios，responseType要设置为blob let that= thislet params = { activitiesId: activitiesId, startTime: startTime, endTime: endTime } axios({ method: 'post', url: '/activityManage/exportExcel', data: params, responseType: 'blob' }).then(resp => { that.downloadFile(resp,that) }).catch(resp => { that.$notify.error(resp.msg || '导出失败') }) 下载方法，实现方式为打开一个新链接，然后放置download按钮，并自动点击： downloadFile (resp,that) { let data = resp.data 　　　　// 此处提示自定义提示语，从header中获取 　　　　if(resp.headers['errormsg'] || !data){ 　　　　　　that

方法1： 步骤 加入Feign的配置项(调用方) feign: httpclient: enabled: true 加入这两个依赖（fegin接口 service-） <!-- httpclient --> <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.9</version> </dependency> <!-- feign-httpclient --> <dependency> <groupId>io.github.openfeign</groupId> <artifactId>feign-httpclient</artifactId> <version>10.2.3</version> </dependency> 但是会存在参数传递不过去的问题 方法2： 增加注解 @SpringQueryMap @GetMapping("/demo-proxy/demo/selectDemoTestList") public List<DemoTest> selectDemoTestList(@SpringQueryMap DemoTest demoTest); 来源： oschina 链接： https://my

实现代码： import requests import json url = "http://218.241.146.94:8989/translate/trans" payload = {"from": "zh", "to": "ww", "src_text": "你好！"} for i in range(3): response = requests.post(url, json=payload) htm_str = response.content.decode() data = json.loads(htm_str)["responseData"] print(data.replace(" ", "").replace(" <br/>", "")) 来源： https://www.cnblogs.com/jumpkin1122/p/11522201.html

- 中国空气质量在线监测分析平台是一个收录全国各大城市天气数据的网站，包括温度、湿度、PM 2.5、AQI 等数据，链接为：https://www.aqistudy.cn/html/city_detail.html,网站显示为： 该网站所有的空气质量数据都是基于图表进行显示的，并且都是出发鼠标滑动或者点动后才会显示某点的数据，所以如果基于selenium进行数据爬取也是挺吃力的，因此我们采用requests模块进行数据爬取。 - 基于抓包工具展开分析： 　　- 通过分析发现，只有在页面中设置了查询的城市名称和时间范围后，然后点击查询按钮，在抓包工具中才会捕获到一个ajax请求的数据包，我们想要爬取的数据也在该数据包中： 　　 　　然后点击捕获到的数据包后，发现当前ajax请求为post类型的请求，携带一个请求参数d，且该请求参数为加密之后的数据，并且响应中的响应数据也是经过加密后的密文数据。 　　 加密的请求参数： 　　 　　 加密的响应数据： 　　 - 问题：那么如果我们想要将空气质量数据进行爬取，则需要对上述捕获到的ajax数据包中的post请求对应的url携带请求参数进行请求发送，然后获取对应的响应数据。但是请求参数是加密后的密文，响应数据也是加密后的密文。并且post请求参数对应的密文每次请求都是动态变化的，我们如何设置？就算能够破解动态且加密的请求参数

爬虫笔记1-抓取 request 库 Response 属性 编码 连接异常 主要方法 保存网页文件 Robots 实例 request 库 requests 模块非自带，需要单独下载。用于从 Web 抓取文件。 Response 属性 >>> import requests >>> res = requests.get('http://www.gutenberg.org/cache/epub/1112/pg1112.txt') >>> type(res) <class 'requests.models.Response'> >>> res.status_code == requests.codes.ok True >>> len(res.text) 178981 >>> print(res.text[:250]) The Project Gutenberg EBook of Romeo and Juliet, by William Shakespeare This eBook is for the use of anyone anywhere at no cost and with almost no restrictions whatsoever. You may copy it, give it away or re-use it under the terms of the

HTTP协议 处理流程 我们平时在浏览网页的时候都是使用浏览器，输入你要的网址后回车，就会显示出我们所想要的内容，看似这个简单的用户操作行为的背后，Web的工作原理是怎样的呢？到底隐藏了些什么呢？ 对于传统的上网流程，系统它是这么做的：浏览器本身它是一个客户端，当输入URL地址的时候，浏览器首先会去请求DNS服务器，通过DNS查询获取相应的域名所对应的IP地址，然后通过这个映射的IP地址找到IP对应的服务器，并建立连接，等浏览器发送完HTTP Request（请求）包后，服务器接收到请求包之后才开始处理，返回HTTP Response（响应）包，客户端浏览器收到来自服务器的响应后就开始渲染这个Response包里的主体（body）部分，等收到全部的内容后断开与该服务器之间的连接。 一个Web服务器也被称为HTTP服务器，它通过HTTP协议与客户端通信。这个客户端通常指的是Web浏览器(其实手机端客户端内部也是浏览器实现的)。 Web服务器的工作原理可以简单地定义为： 1 客户机通过TCP/IP协议建立到服务器的TCP连接 2 客户端向服务器发送HTTP协议请求包，请求服务器里的资源文档 3 服务器向客户机发送HTTP协议应答包，如果请求的资源包含有动态语言的内容，那么服务器会调用动态语言的解释引擎负责处理“动态内容”，并将处理得到的数据返回给客户端 4 客户机与服务器断开

计算机网络基础（前端相关） 一、基础概念 1.URI 2.请求和相应报文 2.1 请求报文 2.2 响应报文 二、HTTP方法 1. GET（获取资源） 2. HEAD（获取报文首部） 3. POST（传输实体主体） 4. PUT（上传文件） 5. PATCH（对资源进行部分修改） 6. DELETE（删除文件） 7. OPTIONS（查询支持的方法） 8. CONNECT（要求在于代理服务器通信时建立隧道） 9. TRACE（追踪路径） 三、HTTP状态码 四、 HTTP首部 五、具体应用 连接管理 1. 短链接与长连接 2. 流水线 Cookie 1. 用途 2. 创建过程 3. 分类 4. 作用域 5. JavaScript 6. HttpOnly 7. Secure 8. Session 9. 浏览器禁用Cookie 10. Cookie与Session选择 缓存 1.优点 2. 实现方法 3. Cache-Control 3.1 禁止进行缓存 3.2 强制确认缓存 3.3 私有缓存和公共缓存 3.4 缓存过期机制 4. 缓存验证 内容协商 1. 类型 1.1 服务端驱动型 1.2 代理驱动型 2. Vary 内容编码 范围请求 1. Range 2. Accept-Ranges 3.响应状态码 分块传输编码 多部分对象集合 虚拟主机 通信数据转发 1. 代理 2. 网关

任意输入用户名密码 开启burpsuite，设置代理，截断登陆POST请求的数据包 将数据包保存为txt文件，打开sqlmap 开始爆数据库，表，列，字段值,例如：sqlmap -r txt文件路径 --dbs；sqlmap -r txt文件路径 -D 数据库名 --tables；sqlmap -r txt文件路径 -D 数据库名 -T 表名 --columns … 爆出name值，password值用md5解密，输入用户名密码的到key 来源： https://blog.csdn.net/qq_36933272/article/details/100531825