python 爬虫(三)cookie和session + 爬虫中使用cookie或session实现登录 + 代理的设置(解决ip被封问题)
文章目录 一、cookie和session 1.产生的缘由 2.cookie和session存放位置 3. cookie ① cookie定义 ② cookie的分类 ③ cookie的组成(属性) ④ cookie被用户禁用,如何使用session? ⑤ 常见误区 4. session ① session的由来 ② session的定义 ③ session流程 ④ session失效时间 5. session和cookie的区别 二、使用cookie或session登录 1. 爬虫中登录的实现方法 2. 使用cookie登录的两种方法 ① 直接放在headers头部中 ② 使用requests插入Cookie 3. 使用session登录 三、代理的设置 1. 代理的基本原理 2. 代理的作用 3. 代理的分类 ① 根据协议来区分 ② 根据匿名程度来区分 ③ 在requests中如何设置代理 一、cookie和session 1.产生的缘由 Http有个特点,即无状态。Http无状态是指Http协议对事务处理没有记忆能力,当我们向服务器发送请求后,服务器处理请求之后返回结果。这是一个独立的过程,再次向服务器发出请求,服务器做出响应又是一次独立的过程,服务器不会记录前后状态变化。因此,服务器并不知道收到的两次请求是否来自同一个用户。这种效果并不是我们想要的。为了保持前后的状态