【学习笔记】PYTHON网络爬虫与信息提取(北理工 嵩天)
学习目的: 掌握定向网络数据爬取和网页解析的基本能力 the Website is the API… 1 python ide 文本ide:IDLE,Sublime Text 集成ide:Pycharm,Anaconda&Spyder,Wing,Visual Studio & PTVS,Eclipse & PyDev,Canopy 默认源太慢: 阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) https://pypi.douban.com/simple/ 清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/ 中国科学技术大学 https://pypi.mirrors.ustc.edu.cn/simple/ 2 网络爬虫规则 2.1 Requests库 自动爬取html页面 #安装方法 管理员权限启动cmd安装 pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple #测试下 #requests库7个主要方法: a、requests.request() 构造一个请求,支撑以下各方法的基础方法 b、requests