response

Response.Clear(); Response.Status = "301 Moved Permanently" ; Response.AddHeader( "Location" , " http://www.baidu.com/ " ); Response.End(); 　　 ? <br><br><br>状态代码 状态信息 代码含义 100 Continue 初始的请求已经接受，客户应当继续发送请求的其余部分。 101 Switching Protocols 服务器将遵从客户的请求转换到另外一种协议 200 OK 一切正常，对GET和POST请求的应答文档跟在后面。 201 Created 服务器已经创建了文档，Location头给出了它的URL。 202 Accepted 已经接受请求，但处理尚未完成。 203 Non-Authoritative Information 文档已经正常地返回，但一些应答头可能不正确，因为使用的是文档的拷贝 204 No Content 没有新文档，浏览器应该继续显示原来的文档。如果用户定期地刷新页面，而Servlet可以确定用户文档足够新，这个状态代码是很有用的。 205 Reset Content 没有新的内容，但浏览器应该重置它所显示的内容。用来强制浏览器清除表单输入内容 206 Partial Content

1、接上一篇，在webui页面，点击右侧【Create】按钮，创建爬虫任务 2、输入【Project Name】，【Start Urls】为爬取的起始地址，可以先不输入，点击【Create】进入： 3、进入爬取操作的页面 整个页面分为两栏，左边是爬取页面预览区域，右边是代码编写区域。下面对区块进行说明： 左侧绿色区域：这个请求对应的 JSON 变量，在 PySpider 中，其实每个请求都有与之对应的 JSON 变量，包括回调函数，方法名，请求链接，请求数据等等。 　　绿色区域右上角Run：点击右上角的 run 按钮，就会执行这个请求，可以在左边的白色区域出现请求的结果。 　　左侧 enable css selector helper: 抓取页面之后，点击此按钮，可以方便地获取页面中某个元素的 CSS 选择器。 　　左侧 web: 即抓取的页面的实时预览图。 　　左侧 html: 抓取页面的 HTML 代码。 　　左侧 follows: 如果当前抓取方法中又新建了爬取请求，那么接下来的请求就会出现在 follows 里。 　　左侧 messages: 爬取过程中输出的一些信息。 　　右侧代码区域: 你可以在右侧区域书写代码，并点击右上角的 Save 按钮保存。 　　右侧 WebDAV Mode: 打开调试模式，左侧最大化，便于观察调试。 4、代码编辑区 1 #!/usr/bin

# -*- coding: utf-8 -*- import scrapy import urllib.request # https://accounts.douban.com/login class DoubanSpider(scrapy.Spider): 　　name = 'douban' 　　allowed_domains = ['www.douban.com', 'accounts.douban.com'] 　　start_urls = ['https://accounts.douban.com/login'] 　　def parse(self, response): 　　　# 查找验证码图片，看有没有验证码 　　　image = response.xpath('//img[@id="captcha_image"]/@src') 　　　# 判断image这个列表是否为空，如果为空，就是没有验证码 　　　if len(image) == 0: 　　　　print('不带验证码的' * 10) 　　　　# 不带验证码的 　　　　formdata = { 　　　　'source': 'index_nav', 　　　　'form_email': '1090509990@qq.com', 　　　　'form_password': 'lizhibin666', 　　　　} 　　

软件、框架的安装主要参考：http://www.jianshu.com/p/a03aab073a35 Scrapy官方文档：https://docs.scrapy.org/en/latest/intro/install.html（安装、爬虫都有参考的） 程序逻辑、流程主要参考http://cuiqingcai.com/4421.html， 其他细节百度 环境： macOS10.12.3 Python2.7 Scrapy1.3.3 一、软件（python）、框架(scrapy)的安装 mac自带Python，根据Scrapy官网建议，最好下载最新的Python版本安装 1、安装pip工具包的支撑环境 各个电脑的情况不一样，支撑包的情况也不一样，反正一句话：缺什么就装什么，我采用 Homebrew 2、pip源修改（镜像地址） 这个一定要做，默认地址访问速度特别慢，翻墙了都很慢，最后我的总结是：有一半的时间都是因为这个原因导致的 首先创建配置文件，默认情况下Mac端好像是没有pip的配置文件的，我们需要自行创建。 打开终端，在HOME下创建.pip目录： echo $HOME mkdir .pip 接下来创建配置文件pip.conf： touch pip.conf 接下来编辑配置文件，随便使用什么编辑器打开刚刚新建的pip.conf文件，输入以下两行： [global] index

第五章感觉是第四章的练习项目，无非就是多了一个模拟登录。 不分小节记录了，直接上知识点，可能比较乱。 1.常见的httpcode： 2.怎么找post参数？ 先找到登录的页面，打开firebug，输入错误的账号和密码，观察post_url变换，从而确定参数。 3.读取本地的文件，生成cookies。 1 try: 2 import cookielib #py2 3 except: 4 import http.cookiejar as cookielib #py3 4.用requests登录知乎 1 # -*- coding: utf-8 -*- 2 __author__ = 'jinxiao' 3 4 import requests 5 try: 6 import cookielib 7 except: 8 import http.cookiejar as cookielib 9 10 import re 11 12 session = requests.session() #实例化session,下面的requests可以直接换成session 13 session.cookies = cookielib.LWPCookieJar(filename="cookies.txt") #实例化cookies，保存cookies 14 #读取cookies 15 try: 16