爬虫(一)request模块的使用
requests模块的学习 使用前 pip install request 发送get, post请求,获取响应 response = requests.get(url) response = requests.post(url, data = {请求体的字典}) response的方法 response.text – 往往出现乱码,出现乱码时在前面加一句:response.encoding = “utf-8” response.content.decode() – 把响应的二进制流转化为str类型 response.request.url #发送请求的URL地址 response.url #response响应的URL地址 response.request.headers #请求头 response.headers #响应请求 获取网页源码的正确方式 (依次尝试以下三种方法,一定有一个可以正确获取解码后的字符串) response.content.decode() response.content.decode(“gbk”) response.text 发送header请求 为了模拟浏览器,不被服务器阻拦,获取和浏览器一模一样的内容 headers = { "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64)