scrapy

爬取哔哩哔哩的弹幕，http://comment.bilibili.com/6315651.xml 需要知道cid,可以F12,F5刷新，找cid，找到之后拼接url 也可以写代码，解析response获取cid,然后再拼接 使用requests或者urllib都可以 我是用requests，请求该链接获取到xml文件 代码：获取xml def get_data (): res = requests.get( 'http://comment.bilibili.com/6315651.xml' ) res.encoding = 'utf8' with open ( 'gugongdanmu.xml' , 'a' , encoding = 'utf8' ) as f: f.writelines(res.text) 解析xml, def analyze_xml (): f1 = open ( "gugongdanmu.xml" , "r" , encoding = 'utf8' ) f2 = open ( "tanmu2.txt" , "w" , encoding = 'utf8' ) count = 0 # 正则匹配解决 xml 的多余的字符 dr = re.compile( r'<[^>]+>' , re.S) while 1 : line = f1.readline() if

本文分为两个部分，前大半部分说的都是Windows下手动安装Scrapy，文末给初学编程的童鞋或者不想这么手工安装的童鞋推荐了Scrapy中文网，直接使用其推荐的Anaconda安装Scrapy即可啦！ 自己动手，红红脸颊系列： Scrapy依赖的库比较多，在安装之前，你需要确保以下库已经安装：wheel、lxml、pyOpenSSL、Twisted、pywin32，如果没有，先装完，再装Scrapy。 安装wheel 用途： pip安装固然方便，但有时候会遇到安装失败的问题。wheel和egg都是打包的格式，支持不需要编译或制作的安装过程。wheel现在被认为是Python标准的二进制打包格式。 安装命令： pip install wheel 注意：如果你是刚刚安装过python并且从没有安装过wheel，你可以直接运行上述命令。但如果你的pip版本不够新，你需要在执行install命令之前更新一下pip，在命令行中输入：python -m pip install --upgrade pip更新pip，再输入安装命令即可。 安装lxml 用途： python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。 安装命令： pip install lxml 安装zope.interface 用途： python本身不提供interface的实现

最近在学Python，同时也在学如何使用python抓取数据，于是就被我发现了这个非常受欢迎的Python抓取框架Scrapy，下面一起学习下Scrapy的架构，便于更好的使用这个工具。 一、概述 下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程。 二、组件 1、Scrapy Engine（Scrapy引擎） Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。 2、Scheduler（调度） 调度程序从Scrapy引擎接受请求并排序列入队列，并在Scrapy引擎发出请求后返还给他们。 3、Downloader（下载器） 下载器的主要职责是抓取网页并将网页内容返还给蜘蛛( Spiders)。 4、Spiders（蜘蛛） 蜘蛛是有Scrapy用户自己定义用来解析网页并抓取制定URL返回的内容的类，每个蜘蛛都能处理一个域名或一组域名。换句话说就是用来定义特定网站的抓取和解析规则。 蜘蛛的整个抓取流程（周期）是这样的： 首先获取第一个URL的初始请求，当请求返回后调取一个回调函数。第一个请求是通过调用start_requests()方法。该方法默认从start_urls中的Url中生成请求，并执行解析来调用回调函数。 在回调函数中

前言 最近在学习scrapy redis，在复习redis的同时打算把mysql和mongodb也复习一下，本篇为mysql篇，实例比较简单，学习sql还是要动手实操记的比较牢。 安装与启动 安装：sudo apt-get install mysql-server 查看服务：ps ajx | grep mysql 停止服务:sudo service mysql stop 开启服务:sudo service mysql start 重启服务:sudo service mysql restart 链接数据库：mysql -uroot -p后输入密码 查看版本：select version(); 常见数据库语句 查看数据库：show database; 创建数据库：create database 库名 [charset = UTF8]; 查看建库语句：show create database 库名; 使用数据库：use 库名; 删除数据库：drop 库名; 常见数据表语句 查看表：show table; 查看表结构：desc 表名; 创建表： CREATE TABLE table_name( column1 datatype contrai, column2 datatype, column3 datatype, ..... columnN datatype, PRIMARY KEY