Python3.7 Scrapy安装(Windows)

大憨熊 提交于 2021-01-10 17:01:12

本文分为两个部分,前大半部分说的都是Windows下手动安装Scrapy,文末给初学编程的童鞋或者不想这么手工安装的童鞋推荐了Scrapy中文网,直接使用其推荐的Anaconda安装Scrapy即可啦!

自己动手,红红脸颊系列:

Scrapy依赖的库比较多,在安装之前,你需要确保以下库已经安装:wheel、lxml、pyOpenSSL、Twisted、pywin32,如果没有,先装完,再装Scrapy。

安装wheel

用途:

pip安装固然方便,但有时候会遇到安装失败的问题。wheel和egg都是打包的格式,支持不需要编译或制作的安装过程。wheel现在被认为是Python标准的二进制打包格式。

安装命令:

pip install wheel

注意:如果你是刚刚安装过python并且从没有安装过wheel,你可以直接运行上述命令。但如果你的pip版本不够新,你需要在执行install命令之前更新一下pip,在命令行中输入:python -m pip install --upgrade pip更新pip,再输入安装命令即可。

安装lxml

用途:

python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。

安装命令:

pip install lxml

安装zope.interface

用途:

python本身不提供interface的实现,需要通过第三方扩展库来使用类似interface的功能,一般都是zope.interface。

注意:不安装zope.interface可能会出现pyOpenSSL安装失败。

安装步骤:

1、进入网址

[https://pypi.org/project/zope.interface/#files]:

下载最新版本.whl文件(cp后跟着的是对应的python版本号),我的python是3.7.2版本,因此下载zope.interface-4.6.0-cp37-cp37m-win_amd64.whl

2、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。

安装命令:

pip install zope.interface-4.6.0-cp37-cp37m-win_amd64.whl

安装pyOpenSSL

用途:

让python支持SSL通信协议,简单来说就是加密解密等这系列操作。

安装步骤:

1、进入网址

[https://pypi.org/project/pyOpenSSL/#files]:

下载最新版本.whl文件,比如我下载的是pyOpenSSL-18.0.0-py2.py3-none-any.whl

2、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。

安装命令:

pip install pyOpenSSL-18.0.0-py2.py3-none-any.whl

安装Twisted

用途:

此处摘自网络

[https://www.cnblogs.com/misswangxing/p/7712318.html]:

:Twisted是用Python实现的基于事件驱动的网络引擎框架,Twisted支持许多常见的传输及应用层协议,包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python一样,Twisted也具有“内置电池”(batteries-included)的特点。Twisted对于其支持的所有协议都带有客户端和服务器实现,同时附带有基于命令行的工具,使得配置和部署产品级的Twisted应用变得非常方便。

安装步骤:

1、进入网址

[https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted]:

下载最新版本.whl文件,比如我下载的是Twisted-18.9.0-cp37-cp37m-win_amd64.whl

2、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。

安装命令:

pip install Twisted-18.9.0-cp37-cp37m-win_amd64.whl

安装pywin32

用途:

python不自带访问Windows API的库,需要下载这个库做支持。

安装步骤:

1、进入网址(pywin32从Build 222开始把所有的下载放在了github上面,python3.7版本的就从这里下载)

[https://github.com/mhammond/pywin32/releases]:

2、下载pywin32-224.win-amd64-py3.7.exe

安装exe:

双击运行不需要解释,安心系咯。(我是没出现not found in the registry等等问题...咳咳...)

安装Scrapy

安装方式一:

你可以进入地址

[https://www.lfd.uci.edu/~gohlke/pythonlibs/#Scrapy]:

去下载Scrapy,然后用前面安装.whl文件的方式安装。

安装方式二:

命令:pip install scrapy

搞定收工!YOHO~

使用工具,快速解决系列:Anaconda

其实,你还可以登录Scrapy中文网,使用Anaconda进行安装,这个方式可能更适合初学编程的童鞋。地址如下:

[http://www.scrapyd.cn/doc/124.html]:

表打我... 咳咳...

验证安装是否成功

方法一:

命令行:pip list

列表中出现了Scrapy,安装成功。

方法二:

命令行:scrapy

正确执行命令,安装成功。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!