python网络爬虫之requests库
Requests库是用Python编写的HTTP客户端。Requests库比urlopen更加方便。可以节约大量的中间处理过程,从而直接抓取网页数据。来看下具体的例子: def request_function_try(): headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0'} r=requests.get(url="http://www.baidu.com",headers=headers) print "status code:%s" % r.status_code print "headers:%s" % r.headers print "encoding:%s" % r.encoding print "cookies:%s" % r.cookies print "url:%s" % r.url print r.content.decode('utf-8').encode('mbcs') 直接用requests.get()方法进行http链接,其中输入参数url以及headers。返回值就是网页的response。从返回的response中可以得到状态吗,头信息。编码范式,cookie值,网页地址以及网页代码 E:\python2.7