爬虫

首先，打开的时候：urllib.request.urlopen('url')
当使用data的时候就变成了post请求，会要求服务器处理一部分的数据：

data=bytes(parse.urlencode('{dict}'),encoding='utf-8')
response=urllib.request.urlopen('url',data=data,timeout=1

当需要 设置头部header时需要使用Request：

from urllib import request,parse
url='http......'
headers={'user-agent':'........','host':'.........'}
dict={'name','......'}
data=bytes(parse.urlencode('dict'),encoding='utf-8')
req=request.Request(url=url,data=data,headers=headers,method='POST')
response=request.urlopen(req)

当然也可以用add_header的方式进行添加

req=request.Request(url=url,data=data,method='POST')
req.add_header('user-agent','.....')

来源：CSDN

作者：chaoren1128

链接：https://blog.csdn.net/chaoren1128/article/details/104068533