django-dynamic-scraper(DDS)网页抓取环境安装搭建
之前了解了scrapy的强大和速率的惊人,django的便捷,苦于没有机会真正的接触,前几天大哥让研究一下这个框架,wow,DDS强大的把这两个得力的工具整合到了一起,这样只需简单的安装和配置,就可以顺利的爬网抓取页面了。废话不多说将环境搭建过程整理出来,以作备份,希望也能帮助到一些人 ; 搭建django环境 查看前一篇博客 搭建Django开发环境 安装scrapy 最新版本是0.18,可以通过命令 easy_install Scrapy or pip install Scrapy,但是dds暂不支持0.18, 这里要安装0.16,是通过命令”pip install scrapy==0.16” 测试安装成功 scrapy shell http://www.baidu.com 如果是windows系统,需要预先安装一些额外的插件 : win32api Zope.Interface Twisted w3lib libxml2 pyOpenSSL lxml 安装django-Celery,设置调度计划任务 pip install django-celery 或者通过解压包文件( 下载 )安装”Python setup.py install” 安装PIL( Python Imaging Library ) 点击 下载 安装包,解压后通过命令“python setup.py