9行代码实现python爬虫入门

"""
通用爬虫：静态
聚焦爬虫：静态
增量式爬虫：实时爬取网站的最新数据。

Http协议：应用层协议
user-Agent 请求载体的信息
connection 请求完毕后，是断开还是保持连接
Content-type 服务器响应给客户端的数据类型

Https协议
安全的http协议。数据加密。
对称密钥
非对称密钥
证书密钥 ：https采用的

URLlib模块，request模块是前者的高级版
作用：模拟浏览器发请求
1 指定URL
2 发起请求
3 获取响应数据
4 持久化存储
"""

import requests
if __name__=="__main__":
    #1 指定URL
    url = 'https://blog.csdn.net/LVGAOYANH'
    #发起请求
    response =  requests.get(url=url)
    #获取响应数据
    page_text = response.text
    print(page_text)
    #持久化存储
    with open("h:\\test.txt",'w',encoding='utf-8')as fp:
        fp.write(page_text)
    print("爬取数据完毕")

 

来源：CSDN

作者：鹰立如睡

链接：https://blog.csdn.net/LVGAOYANH/article/details/104595330