python安装scrapy/Twisted遇见的坑

陌路散爱 提交于 2019-11-29 18:55:02

入门python,一直听闻有一款非常出门的爬虫框架scrapy,非常想尝试一下,于是通过pip install安装,无奈各种报错(的确是各种报错!!),因为scrapy主要依赖的几个库并不支持python3.x。最后经过我不懈的努力,终于通过各种途径在win10 64位 python3.6的环境下成功安装scrapy。当然,如果经不起折腾通过python2.7安装是最简单的,在这里请允许我吐槽一下python的版本兼容性,已经被不止坑了一次了!下面大概介绍遇见的几个大坑,及解决方法:

  1. lxml等包安装报错,这些可以通过去pip官网下载whl然后本地安装就可以解决,网上的讨论很多也很有效就不多提
  2. twisted安装异常,这个是最坑的,我尝试了很久才解决。首先,twisted不支持python3.x,所以通过官方途径下载的包可以歇了。我找了一些攻略,终于活捉到改版后的野生twisted,链接https://pan.baidu.com/s/1sle2CmL?errno=0&errmsg=Auth%20Login%20Sucess&&bduss=&ssnerror=0&traceid=#list/path=%2FPython%2Ftwisted-for-python3&parentPath=%2FPython 

        按照自己系统版本下载安装,安装完成后可以通过命令行测试一下(如果链接失效,请留言)

    

python
>>> import twisted

没有报异常应该就是成功

然后就可以快乐得使用pip install scrapy 来安装,如果你看见Successfully,那么就可以恭喜你别高兴得太早了

scrapy框架会提供一个shell供开发者测试,我们可以拿来实验一下安装成果

scrapy shell

如果执行命令行后没有异常,那就才是Successfully

不过遗憾的是,又又又又报异常

ModuleNotFoundError: No module named 'win32api'

你一个爬虫框架到底要依赖多少个库啊😭

嗯,不过这个好解决

pip install pypiwin32

安心等吧,下载速度还是挺慢的,至少在它下载的过程中,我就把这个博文写了...( _ _)ノ|

再次调用

scrapy shell

大功告成!!!!!!!!!!

撒花~~~~

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!