urllib2

爬取分为，嗯，三个步骤大概，首先是用 python 的 url 库搭接网络连接部分，能够自动打开许多网页和下载它的 html，这个很简单，都是模板不用费脑子，然后是分析目标网站的 html，观察对应的要爬取的内容是怎么被包围在这些标签中的，然后是用 python 的正则表达式构建字段，从整个 html 里进行匹配，匹配成功了就输出，整个过程大致就是这样，关键是如何打开这些网址，以及如何匹配正确，就是这样。 在匹配之前，最好就是先用一个网页试着匹配一下，实验性的，不然匹配错了，输出一大堆错误的东西，也会降低效率 这回用的是 scrape 爬虫框架 这里有一点是，urllib2 现在与 urllib 合并了。。。然后如果你要用 urllib2 的话，它就是 urllib 里的 request，所以你单独倒一条： Import urllib.request as urllib2 这样就可以愉快的玩耍啦！ 然后可以这么写几句话看一下： import urllib import urllib.request as urllib2 import urllib3 response = urllib2.urlopen("http://www.smpeizi.com") print(response.read()) 就两句话，但是能传出来一大堆东西。 其实上面的 urlopen 参数可以传入一个

环境说明 电脑配置：win7 64位 安装版本：anaconda3 Python 3.6 参考链接 http://python.jobbole.com/86236/ （链接中有一个小点介绍了如何加速包的下载） https://stackoverflow.com/questions/38739694/install-python-package-package-missing-in-current-win-64-channels 1. 使用conda命令安装 本来想要安装包urllib2的包，但是在anaconda官网上搜索urllib2，没找到win7 64版本的，所以就下载urllib3了。打开Anaconda Prompt，输入命令 conda install urllib2 ，结果告知没有该渠道，报错如下图 解决方法： 在 Anaconda 中搜索urllib，可以看到只有部分的urllib3的包支持win-64，所以下载了conda-forge/urllib3，conda-forge就是上面错误中所说的channels 使用命令 conda install -c conda-forge urllib3 下载成功 2. 使用pip安装 anaconda3安装后，使用命令进入pip.exe所在的文件夹下（pip.exe存在annaconda3安装目录的Scripts文件夹下）

利用python自带urllib库 1、在Python2.x中，存在的形式是urllib和urllib2，在python3.x中整合为urllib.request，一般为了使用习惯，导入时命名为urllib2：import urllib.request as urllib2 例如下面代码： >>> import urllib.request as urllib2 >>> import urllib >>> dir(urllib) ['__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__path__', '__spec__', 'error', 'parse', 'request', 'response'] >>> 来源： CSDN 作者： 博乐Bar 链接： https://blog.csdn.net/huanzx/article/details/103602267