it桔子

【爬虫学习笔记day65】7.7. scrapy-redis实战-- IT桔子分布式项目1

倾然丶 夕夏残阳落幕 提交于 2020-01-31 04:37:50
文章目录 7.7. scrapy-redis实战-- IT桔子分布式项目1 7.7. scrapy-redis实战-- IT桔子分布式项目1 IT桔子是关注IT互联网行业的结构化的公司数据库和商业信息服务提供商,于2013年5月21日上线。 IT桔子致力于通过信息和数据的生产、聚合、挖掘、加工、处理,帮助目标用户和客户节约时间和金钱、提高效率,以辅助其各类商业行为,包括风险投资、收购、竞争情报、细分行业信息、国外公司产品信息数据服务等。 用于需自行对所发表或采集的内容负责,因所发表或采集的内容引发的一切纠纷、损失,由该内容的发表或采集者承担全部直接或间接(连带)法律责任,IT桔子不承担任何法律责任。 项目采集地址: http://www.itjuzi.com/company 要求:采集页面下所有创业公司的公司信息,包括以下但不限于: # items.py # -*- coding: utf-8 -*- import scrapy class CompanyItem ( scrapy . Item ) : # 公司id (url数字部分) info_id = scrapy . Field ( ) # 公司名称 company_name = scrapy . Field ( ) # 公司口号 slogan = scrapy . Field ( ) # 分类 scope = scrapy