Python+Selenium+Phantomjs数据抓取环境配置实践

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

以后估计要做数据挖掘方面的项目，现在却连数据都不会爬，这怎么能行？

先在知乎上面看到有高手说selenium可以用来爬数据，然后进一步找到了 “数据抓取的艺术（一）：Selenium+Phantomjs数据抓取环境配置”，照着做却碰到了问题。

Python用的是 ActivePython，里面已经帮你把easy_install 和 pip 都装好了，第一步Python的安装没有问题。

但是第二步使用 pip install selenium 这一步却怎么也过不去了，可能是校园网的问题，所以下载老是出问题。

上官网下了selenium-2.33.0.tar.gz，解压缩以后却不知道放哪。。。

小白略感无奈，在网上找了半天，终于找到了该怎么办：

第一种办法是，把解压目录下的selenium文件夹（selenium-2.33.0\py\selenium）拷到 Python 安装目录下的 Lib\site-packages下就好了

第二种办法是转到解压后的目录下运行setup.py 文件，命令是 python setup.py install。然后命令行黑框就会输出一大堆信息，结束以后，解压的目录下会多出两个文件夹，另外 Lib\site-packages 下也会多出一个 selenium-2.33.0-py2.7.egg 文件夹（貌似还有一个隐藏的同名文件）。

不知道两种方法有没有差别，但是心理上感觉第二种好一点。（小白不懂，只是感觉而已）

接下来就是测试了，我前面找到的那篇博客是用百度做测试的，但是我一直测试不能通过，所以换了搜狗的主页试了试，成功了。

我新建的 test.py 代码是：

from selenium import webdriver

driver = webdriver.PhantomJS()
driver.get('http://www.sogou.com/')
data = driver.find_element_by_id('sina').text
print data
driver.quit()

效果如图：

总算是成功了，大家也可以试试看。