1. 技术文章
  2. 二、Python爬虫-urllib库数据挖掘

二、Python爬虫-urllib库数据挖掘

由 心不动则不痛 提交于 2020-04-29 15:57:02

使用urllib库数据挖掘

第一个爬虫程序

import re
from urllib import request    #直接使用request中的方法
#import urllib.request      #需使用urllib.request.方法

url=r"http://www.baidu.com/" #'r'去除转义字符

#2.1.数据挖掘
#发送请求,获取响应信息,request自动创建请求对象,不方便使用,信息以二进制输出
response1=request.urlopen(url).read().decode() #解码

#创建自定义请求
req=request.Request(url)
response2=request.urlopen(req).read().decode() #解码

#2.2.数据清洗
pat=r"<title>(.*?)</title>"    #正则表达式
data1=re.findall(pat,response1)    #返回一个列表
data2=re.findall(pat,response2)    #返回一个列表

print(data1)                #['百度一下，你就知道']
print(data2)                #['百度一下，你就知道']

　　自动创建请求对象：只封装了url信息，自动生成其他信息

　　自定义请求对象：可以自定义其他信息，对抗反扒机制

　　　　通过方法request.Request()创建自定义请求对象，再用request.urlopen()打开对象

伪装浏览器

　　反爬虫机制1：判断用户是否是浏览器访问

　　是否是浏览器通过请求包头的User-Agent进行判断，下面是谷歌浏览器的User-Agent

　　User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36
　　 
#伪装浏览器爬虫
import re
from urllib import request    #直接使用request中的方法

url=r"http://www.baidu.com/" #'r'去除转义字符
#通过字典构造请求头信息
header={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64)\
     AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163\
      Safari/537.36"
}#['百度一下，你就知道'] 谷歌浏览器

#创建自定义请求
req=request.Request(url,headers=header) #传入url和请求头
response=request.urlopen(req).read().decode() #解码

#2.2.数据清洗
pat=r"<title>(.*?)</title>"    #正则表达式
data=re.findall(pat,response)    #返回一个列表

print(data)                #['百度一下，你就知道']

　　反爬虫机制2：判断用户是否一直使用同一个浏览器进行重复访问

　　添加多个UserAgent进行访问：

#伪装浏览器
import re                     #正则表达式
from urllib import request    #直接使用request中的方法
import random                #随机模块

url=r"http://www.baidu.com/" #'r'去除转义字符
#通过字典构造请求头信息
agent1={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64)\
     AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163\
      Safari/537.36"
}#['百度一下，你就知道'] 谷歌浏览器
agent2={
    "User-Agent":"Mozilla/5.0 (Linux; U; Android 8.1.0; \
    zh-cn; BLA-AL00 Build/HUAWEIBLA-AL00) AppleWebKit/537.36\
    (KHTML, like Gecko) Version/4.0 Chrome/57.0.2987.132 \
    MQQBrowser/8.9 Mobile Safari/537.36"
}#['百度一下'] 手机浏览器
agent3={
    "User-Agent":"Mozilla/5.0 (Linux; U; Android 8.0.0; zh-CN; \
    MHA-AL00 Build/HUAWEIMHA-AL00) AppleWebKit/537.36 \
    (KHTML, like Gecko) Version/4.0 Chrome/40.0.2214.89\
     UCBrowser/11.6.4.950 UWS/2.11.1.50 Mobile Safari/537.36 \
     AliApp(DingTalk/4.5.8) com.alibaba.android.rimet/10380049 Channel/227200 language/zh-CN"
}#['百度一下'] 手机浏览器

agentList=[agent1,agent2,agent3]
agent=random.choice(agentList)
print(agent)

#创建自定义请求
req=request.Request(url,headers=agent)             #传入url和请求头
response=request.urlopen(req).read().decode()     #解码

#2.2.数据清洗
pat=r"<title>(.*?)</title>"        #正则表达式
data=re.findall(pat,response)    #返回一个列表

print(data)

自定义Opener

　　我们之前一直都在使用的urlopen()，他是一个特殊的opener（也就是模块帮我们构建好的）。

　　但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能：

　　通过request.build_opener()方法创建自定义opener对象；使用自定义的opener对象，调用open()方法发送请求；

　　如果程序里的所有请求都使用自定义的opener，可以使用request.install_opener()将自定义的opener对象定义为全局opener，表示之后调用的urlopen，都将使用这个自定义的opener。

　　构建自定义的opener需传入处理器对象，通过request.HTTPHandler()、request.ProxyHandler()等方法创建。

　　代理：使用其他的ip进行访问服务器

　　cookie：客户信息

　　HTTP/HTTPS：网络传输协议（明文/加密）

#创建自定义opener
from urllib import request

#构建HTTP处理器对象（专门处理HTTP请求的对象）
http_header=request.HTTPHandler()

#创建自定义opener
opener=request.build_opener(http_header)

#创建自定义请求对象
req=request.Request("http://www.baidu.com/")

#发送请求，获取响应，使用一次
# response=opener.open(req).read().decode()
# print(response)


#把自定义的opener设置为全局，这样用urlopen发送的请求默认使用自定义的opener
request.install_opener(opener)
response2=request.urlopen(req).read().decode()
print(response2)

使用代理IP

　　反爬虫机制3：判断请求来源的ip地址

　　使用代理ip进行访问

#代理ip
from urllib import request
import random

#多个代理ip
proxylist=[
    {"http":"182.111.64.7:41766"}, #key:协议 value:ip+port
    {"http":"182.111.64.7:41766"},
    {"http":"101.248.64.82:80"},
]

proxy=random.choice(proxylist)

#构建代理处理器对象
proxyHandler=request.ProxyHandler(proxy)

#创建自定义opener
opener=request.build_opener(proxyHandler)

#创建请求对象
req=request.Request("http://www.baidu.com")

#发生请求，返回相应
response=opener.open(req).read().decode()

print(response)

 处理get请求

　　请求信息包含在url里面。

#2.11.处理get请求

#在百度上搜索"北京"
from urllib import request
import urllib
#https://www.baidu.com/s?wd=%E5%8C%97%E4%BA%AC #url编码
wd={"wd":"北京"}

url="http://www.baidu.com/s?"

#构造url编码
wdd=urllib.parse.urlencode(wd)
url=url+wdd

req=request.Request(url)
response=request.urlopen(req).read().decode()

print(response)

 处理post请求

　　请求信息不在url里面，而是在From Data(表单数据)中。

　　　

 　　代码请看有道翻译爬虫实现

响应

　　响应分很多种，但我们无需知道响应是什么类型，我们只需要响应中是否能够提取到我们所需的信息。

异常处理

　　为了防止出现异常时程序死掉，就需要进行异常处理

from urllib import request

list1=[
"http://www.baidu.com",
"http://www.baidu.com",
"http://www.wdnmd.com",
"http://www.baidu.com",
"http://www.baidu.com",
]

i=0
for url in list1:
    i=i+1
    try:
        request.urlopen(url)
    except Exception as e:
        print("第",i,"次请求失败",e)
        continue
    print("第",i,"次请求完成")

cookie模拟登录

　　cookie(存储再用户本地终端上的数据)，是某些网站为了辨别用户身份，进行session跟踪而储存在用户本地终端上的数据（通常经过加密），由用户客户端计算机暂时或永久保存的信息。

from urllib import request

url="http://www.baidu.com"

#这cookie也太长了吧！
header={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/81.0.4044.122 Safari/537.36",
"Cookie":"BAIDUID=B75AA8C5F67A4BA4496FDAD7D121A9AE:FG=1; \
BIDUPSID=B75AA8C5F67A4BA4496FDAD7D121A9AE; PSTM=1561710602;\
 BDUSS=khaRENTZWhWS0I3b1lQRDVmS3FJfnQ0ZGdPa0ZNckRNWi1oSmdJO\
 DhYOVR2WFZlSVFBQUFBJCQAAAAAAAAAAAEAAADVDV8\
 YwbrIqNCkAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA\
 AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAFMwTl5TME5eZ\
 ; H_WISE_SIDS=139912_142696_144498_143879_144884_141875_139043_\
 141744_144419_144135_144470_144482_131247_137745_138883_\
 141941_127969_144338_140593_144249_140350_144608_143923_\
 131423_144277_114553_142207_144899_107313_139909_144954_\
 143478_144966_142426_142911_140311_143549_144238_143862_\
 110085; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; \
 yjs_js_security_passport=cc7193919e4c28b6fad4dae83d92a4bd694e9d90_1588053148_js;\
 delPer=0; PSINO=6; BDRCVFR[feWj1Vr5u3D]=I67x6TjHwwYf0; \
 H_PS_PSSID=1461_21090_31254_31424_31341_30905_30824_26350_31163_31475_22158; \
 PHPSESSID=0hmqvu0d6o9tneinc0l1asnj91; Hm_lvt_4010fd5075fcfe46a16ec4cb65e02f04=1588059785;\
 Hm_lpvt_4010fd5075fcfe46a16ec4cb65e02f04=1588059785"
}#谷歌浏览器

req=request.Request(url,headers=header)

response=request.urlopen(req)

print(response.read().decode())

 

 

标签
OpENer
Chrome
易学教程内所有资源均来自网络或用户发布的内容，如有违反法律规定的内容欢迎反馈！
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!