http请求

目录 Nginx 高级配置 Nginx 状态页 Nginx 第三方模块 Nginx 变量使用 内置变量 自定义变量 Nginx 自定义访问日志 自定义默认格式日志 自定义json格式日志 json格式的日志访问统计 Nginx 压缩功能 https 功能 ssl 配置参数 自签名 证书 Nginx证书配置 实现多域名HTTPS 关于favicon.ico 安全选项 隐藏Nginx版本号： 升级OpenSSL版本： Nginx 高级配置 Nginx 状态页 基于nginx模块ngx_http_auth_basic_module实现，在编译安装nginx的时候需要添加编译参数--withhttp_stub_status_module，否则配置完成之后监测会是提示语法错误。 配置示例： [root@ubuntu ~]#vim /apps/nginx/conf/conf.d/pc.conf location /nginx_status { # 这项值是什么访问后面的uri就加什么。 stub_status; allow 192.168.0.0/16; # 只允许这个网段查看 allow 127.0.0.1; # 只允许本机查看 deny all; # 拒绝所有 } # 最后的意思就是允许192.168.0.0/16、127.0.0.1（本机）其他的都拒绝。 # 重新加载服务 [root

web service基础知识 Web服务基础 用户访问网站的基本流程 我们每天都会用web客户端上网，浏览器就是一个web客户端，例如谷歌浏览器，以及火狐浏览器等。 当我们输入www.oldboyedu.com/时候，很快就能看到老男孩教育的官网了，这一切看起来很平淡无奇，背后又是什么道理呢？普通人可以不知道，但是咱们作为it开发人员，必须得掌握清楚背后的技术。 下面为你揭晓用户访问网站的基本流程 老男孩教育某python总监，讲了一天课感觉很累，下了班躺床上打开他的macbook pro，双击浏览器，输入www.pornhub.com网址后，系统首先会查找本地的DNS缓存以及hosts文件信息，确定是否存在www.pornhub.com域名对应的ip解析记录，如果有就直接获取ip进行访问服务器，第一次请求时，dns缓存是没有解析记录的，hosts文件多数是开发临时测试用 如果本地dns缓存和hosts文件都没有域名解析记录，系统就会把某python总监访问的网址解析请求发送给客户端设置的DNS服务器去解析，也叫做Local DNS，如果LDNS服务器的本地缓存有对应的解析记录就会直接返回给客户端IP地址，如果没有LDNS就会继续请求其他的DNS服务器 LDNS继续从DNS系统的"."(根)开始请求www.pornhub.com域名的解析

nginx入门与实战 网站服务 想必我们大多数人都是通过访问网站而开始接触互联网的吧。我们平时访问的网站服务 就是 Web 网络服务，一般是指允许用户通过浏览器访问到互联网中各种资源的服务。 Web 网络服务是一种被动访问的服务程序，即只有接收到互联网中其他主机发出的 请求后才会响应，最终用于提供服务程序的 Web 服务器会通过 HTTP(超文本传输协议)或 HTTPS(安全超文本传输协议)把请求的内容传送给用户。 目前能够提供 Web 网络服务的程序有 IIS、Nginx 和 Apache 等。其中，IIS(Internet Information Services，互联网信息服务)是 Windows 系统中默认的 Web 服务程序 2004 年 10 月 4 日，为俄罗斯知名门户站点而开发的 Web 服务程序 Nginx 横空出世。 Nginx 程序作为一款轻量级的网站服务软件，因其稳定性和丰富的功能而快速占领服务器市 场，但 Nginx 最被认可的还当是系统资源消耗低且并发能力强，因此得到了国内诸如新浪、 网易、腾讯等门户站的青睐。 web服务器和web框架的关系 web服务器（nginx, apache, lighthttp, IIS）：接收HTTP请求（例如www.pythonav.cn/xiaocang.jpg）并返回数据, web服务器不和数据库打交道 web框架

HTTP协议采用了了请求/响应模型，客户端向服务器发送一个请求报文，请求报文包含请求的方法，url，协议版本，请求头部和请求数据。服务器以一个状态行作为响 应，响应的内容包括，协议的版本，成功或者错误代码，服务器信息，响应头和响应数据。 1,浏览器向Dns服务器请求解析该URL中的域名所对应的ip地址。 - 浏览器搜索自己的DNS缓存，若没有，则搜索操作系统的dns缓存，若没有，搜索host文件，若没有，域名发送至本地域名服务器，本地域名服务器查询，若没有 ，向根域名服务器发起请求。 2，解析出ip地址后，根据该ip地址和默认端口80，和服务器建立TCP建立。 - 三次握手 3，浏览器发出读取文件（URL中域名后面部分对应的文件）的HTTP请求，该请求报文作为Tcp三次握手的第三个报文的数据发送给服务器 。 - 浏览器的缓存机制 4，服务器对浏览器请求作出响应，并把对应的html文本发送给浏览器 - 负载均衡，cookies,session 5,释放TCP连接。 - 四次挥手 6，浏览器将该HTML文本显示。 来源： CSDN 作者： 偷渡者 链接： https://blog.csdn.net/qq_43783437/article/details/103863744

爬虫学习 06.Python网络爬虫之requests模块（2） 今日内容 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 知识点回顾 xpath的解析流程 bs4的解析流程 常用xpath表达式 常用bs4解析方法 了解cookie和session - 无状态的http协议 - 如上图所示，HTTP协议 是无状态的协议，用户浏览服务器上的内容，只需要发送页面请求，服务器返回内容。对于服务器来说，并不关心，也并不知道是哪个用户的请求。对于一般浏览性的网页来说，没有任何问题。 　　- 但是，现在很多的网站，是需要用户登录的。以淘宝为例：比如说某个用户想购买一个产品，当点击 “ 购买按钮 ” 时，由于HTTP协议 是无状态的，那对于淘宝来说，就不知道是哪个用户操作的。 　　- 为了实现这种用户标记，服务器就采用了cookie这种机制来识别具体是哪一个用户的访问。 了解Cookie - 如图，为了实现用户标记，在Http无状态请求的基础之上，我们需要在请求中携带一些用户信息（比如用户名之类，这些信息是服务器发送到本地浏览器的，但是服务器并不存储这些信息），这就是cookie机制。 - 需要注意的是：cookie信息是保存在本地浏览器里面的，服务器上并不存储相关的信息。 在发送请求时，cookie的这些内容是放在 Http协议中的header

GET：该请求会向数据库发索取数据的请求，从而来获取信息，该请求就像数据库的select操作一样，只是用来查询一下数据，不会修改、增加数据，不会影响资源的内容，即该请求不会产生副作用。无论进行多少次操作，结果都是一样的。 PUT：该请求是向服务器端发送数据的，从而改变信息，该请求就像数据库的update操作一样，用来修改数据的内容，但是不会增加数据的种类等，也就是说无论进行多少次PUT操作，其结果并没有不同。 POST：该请求同PUT请求类似，都是向服务器端发送数据的，但是该请求会改变数据的种类等资源，就像数据库的insert操作一样，会创建新的内容。几乎目前所有的提交操作都是用POST请求的。 DELETE：该请求顾名思义，就是用来删除某一个资源的，该请求就像数据库的delete操作。 OPTIONS：返回服务器针对特定资源所支持的HTTP请求方法。也可以利用向Web服务器发送'*'的请求来测试服务器的功能性。 HEAD：向服务器索要与GET请求相一致的响应，只不过响应体将不会被返回。这一方法可以在不必传输整个响应内容的情况下，就可以获取包含在响应消息头中的元信息。 TRACE：回显服务器收到的请求，主要用于测试或诊断。 CONNECT：HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。 来源： https://www.cnblogs.com/zpblogs/p

前言： 我们不管做后端开发还是前端开发，都离不开使用URL，可是我们对URL到页面整个发展过程了解的并不是很多，这一文，我们将全面解析这一知识点，让大家都弄明白这一个过程。 大家先看一张流程图： 总体来说分为以下几个过程： - DNS解析：将域名解析成IP地址 - TCP连接：TCP三次握手 - 发送HTTP请求 - 服务器处理请求并返回HTTP报文 - 浏览器解析渲染页面 - 断开连接：TCP四次挥手 什么是URL？ URL(Uniform Resource Locator) 统一资源定位符，用于定位互联网上的资源，俗称网址。例如： http://www.w3school.com.cn/html/index.asp。 这个就遵循语法规则，下面就解析一下语法规则是什么？ scheme://host.domain:port/path/filename。 scheme - 定义因特网服务的类型。常见的协议有http、https、ftp、file，其中最常见的类型是http，而https则是进行加密的网络传输。host-定义域主机（http的默认主机是www） domian - 定义因特网域名，比如w3school.com.cn port - 定义主机上的端口号(http的默认端口号是80) path - 定义服务器的路径（如果省略，则文档必须位于网站的根目录中）filename -

HTTP基础 简介：Hyper Text Transfer Protocol(超文本传输协议)，用于从万维网服务器到本地浏览器的传送协议。 HTTP工作原理 客户端-服务器端架构。浏览器作为客户端通过URL向HTTP服务器发送请求。 URL： Web服务器：Apache、IIS等。 Web服务器根据接收到的请求后，向客户端发送响应信息。 HTTP默认端口为80，但是可以改为8080或者其他端口。 HTTP特点 无连接：每次连接只处理一个请求。服务器处理完客户的请求，并接受到客户的应答后，即断开连接。优点：节约传输时间。 媒体独立：只要是客户端和服务器知道如何处理的数据类型，任何类型的数据都可以通多HTTP发送。客户端以及服务器指定使用适合的MIME-type内容类型。 无状态：协议对于事物处理没有记忆能力。如果后续处理需要用到前面的信息，则需要重传。 HTTP传输流程 ps:CGI是HTTP服务器上与你的或者其他机器上的程序进行“交谈”的一种工具，其程序运行在网络服务器上。 HTTP消息结构 请求消息组成 ：请求行、请求头部、空行和请求数据。 响应消息组成 ：状态行、消息报头、空行和响应正文。 HTTP请求方法 GET：请求指定的页面信息，并返回实体主体。 POST:向指定资源提交数据进行处理请求。数据被包含在请求体中。POST请求可能导致新的资源的建立和/或已有的资源的修改。

Nginx服务器利⽤ngx_http_rewrite_module 模块解析和处理rewrite请求，此功能依靠 PCRE(perl compatible regularexpression)，因此编译之前要安装PCRE库，rewrite是nginx服务器的重要功能之⼀，⽤于实现URL的重写，URL的重写是⾮常有⽤的功能，⽐如它可以在我们改变⽹站结构之后，不需要客⼾端修改原来的书签，也⽆需其他⽹站修改我们的链接，就可以设置为访问，另外还可以在⼀定程度上提⾼⽹站的安全性。 1 ngx_http_rewrite_module模块指令 官方文档：https://nginx.org/en/docs/http/ngx_http_rewrite_module.html 1.1 if指令 # ⽤于条件匹配判断，并根据条件判断结果选择不同的Nginx配置，可以配置在server或location块中进⾏配置，Nginx的if语法仅能使⽤if做单次判断，不⽀持使⽤if else或者if elif这样的多重判断，⽤法如下： if （条件匹配） { action } # 使⽤正则表达式对变量进⾏匹配，匹配成功时if指令认为条件为true，否则认为false，变量与表达式之间使⽤以下符号链接： = #⽐较变量和字符串是否相等，相等时if指令认为该条件为true，反之为false。 != #

1.HTTP概述 （1）概念   HTTP，Hyper Text Transfer Protocol，超文本传输协议。HTTP协议是客户端和服务器请求和应答的标准，采用请求/响应模式。客户端向服务器发送一个请求报文，请求报文包含请求方法、URL、协议版本、请求头部和请求数据。服务器以一个状态行作为响应，响应的内容包括协议的版本、成功或者错误代码、服务器信息、响应头部和相应信息。 （2）特点    ① 基于TCP/IP的高级协议    ② 默认端口号：80    ③ 基于请求/响应模式的，一次请求对应一次响应    ④ 无状态的：每次请求之间相互独立，不能交互数据 （3）历史版本   Version1.0：每一次请求响应都会建立新的连接   Version1.1：请求和响应可以复用连接。每次数据请求完毕后，会延迟断开时间，等待是否还有数据请求，如果有则继续请求，否则断开连接。 2.HTTP请求消息数据格式   HTTP请求报文由请求行（request line)、请求头(header)、空行和请求数据4个部分组成。    2.1 请求行 （1）请求行格式 请求方式 请求URL 请求协议/版本 如：GET /login.html HTTP/1.1 （2）请求方式 HTTP协议的请求方式有7种，分别为GET、POST、HEAD、OPTIONS、DELETE、TRACE、PUT