重定向

今天要介绍的：.htaccess的第一个应用是自定义错误页面，这将使你可以拥有自己的、个性化的错误页面（例如找不到文件时），而不是你的服务商提供的错误页或没有任何页面。这会让你的网站在出错的时候看上去更专业。你还可以利用脚本程序在发生错误的时候通知你（例如我使用Free Webmaster Help的PHP脚本程序，当找不到页面的时候自动e-mail给我）。 你所知道的任何页面错误代码（像404找不到页面），都可以通过在.htaccess文件里加入下面的文字将其变成自定义页面： ErrorDocument errornumber /file.html //errornumber 像404等 举例来说，如果我的根目录下有一个nofound.html文件，我想使用它作为404 错误的页面：ErrorDocument 404 /notfound.html。如果文件不在网站的根目录下，你只需要把路径设置为：ErrorDocument 500 /500错误页面的路径/500.html 以下是一些常用的客户端请求错误返回代码： 400 – Bad request 错误请求 401 Authorization Required需要验证 403 Forbidden禁止 404 Not Found找不到页面 405 Method Not Allowed 408 Request Timed Out

一、输入输出重定向 1. 输入重定向 是指把文件导入到命令中。命令符号为 “<” 。 输出重定向 则是指把原本要输出到屏幕的数据信息写入到指定文件中 ，而输出重定向又分为 清空写入 “>”，错误输出 “2>” 与 追加写入 ">>", 错误输出 “2>>” . 清空写入 “>” :将标准输出重定向到一个文件中（把原来文件里面内容清空，在写入的操作）。 错误输出 “2>” ：将错误输出重定向到一个文件中（清空原有文件的数据）。 追加写入 ">>" ：将标准输出重定向到一个文件中（在原来文件里面内容后面添加内容，追加写入的操作）。 错误输出 “2>>”： 将错误输出重定向到一个文件中（追加到原有内容的后面）。 &> :将标准输出与错误输出共同写入到文件中（追加到原有内容的后面）。 例：输入重定向，把文件输入到命令当中，这时候文件相当于命令操作符，不是对象了， 一般是命令 参数 对象 ！ 如图所示： 例2：输出重定向：是把原有要输出屏幕上的文件内容，输出到另一个文件当中。又分为正常(清空源文件信息)“>”、追加写入(写入到原有文件数据后面)信息">>"与错误信息"2>"、错误追加写入(写入到错误原有文件数据后面)"2>>". 如图所示： 二、管道命令符 1.任意门“ | ” ，命令格式： 命令A | 命令 B | 命令C 多种命令都可以连在一起使用

状态码的类别 类别 原因短语 1XX Information 接收的请求正在处理 2XX Success 请求正常处理完毕 3XX Redirection 需要进行附加操作以完成请求 4XX Client Error 服务器无法处理请求 5XX Server Error 服务器处理请求出错 2XX 200 OK ：使用GET方法时，对应请求资源的实体会作为响应返回；而使用 HEAD 方法时，不返回资源的实体，只返回首部 204 No Content：请求处理成功，但返回的响应报文中不含实体的主体部分 206 Partial Content: 表示客户端进行了范围请求，并且服务器成功执行了请求。响应报文中包含了Content-Range指定范围的实体内容 GET /tip.jpg HTTP/1.1Host: xxxRange: bytes = 5001-10000 HTTP/1.1 206 Partial ContentDate: ...Content-Range: bytes 5001-10000/10000Content-Length: 5000Content-Type: image/jpeg 3XX 301 Moved Permanently：永久重定向。会按照Location首部字段提示的新URI更新书签。页面内容更新，且地址栏网址也更新 302 Found：临时重定向

1. 增加并发 并发是指同时处理的request的数量。其有全局限制和局部(每个网站)的限制。 Scrapy默认的全局并发限制对同时爬取大量网站的情况并不适用，因此您需要增加这个值。 增加多少取决于您的爬虫能占用多少CPU。 一般开始可以设置为 100 。不过最好的方式是做一些测试，获得Scrapy进程占取CPU与并发数的关系。 为了优化性能，您应该选择一个能使CPU占用率在80%-90%的并发数。 在 setting.py 文件中写上 CONCURRENT_REQUESTS = 100 ，scrapy中默认的并发数是32 2. 增大线程池 scrapy通过一个线程池来进行DNS查询，增大这个线程池一般也可以提高scrapy性能。 REACTOR_THREADPOOL_MAXSIZE = 20 3. 降低log级别 当进行通用爬取时，一般您所注意的仅仅是爬取的速率以及遇到的错误。 Scrapy使用 INFO log级别来报告这些信息。为了减少CPU使用率(及记录log存储的要求), 在生产环境中进行通用爬取时您不应该使用 DEBUG log级别。 不过在开发的时候使用 DEBUG 应该还能接受。 setting.py 文件中设置 LOG_LEVEL = 'INFO' 4. 禁止cookie 除非您 真的 需要，否则请禁止cookies。在进行通用爬取时cookies并不需要，

管道命令 操作符是：”|”,它仅能处理经由前面一个指令传出的正确输出信息，也就是 standard output 的信息，对于 stdandard error 信息没有直接处理能力。然后，传递给下一个命令，作为标准的输入 standard input. 管道命令使用说明： 先看下下面图： command1正确输出，作为command2的输入 然后comand2的输出作为，comand3的输入 ，comand3输出就会直接显示在屏幕上面了。 通过管道之后：comand1,comand2的正确输出不显示在屏幕上面 注意： 1、管道命令只处理前一个命令正确输出，不处理错误输出 2、管道命令右边命令，必须能够接收标准输入流命令才行。 实例： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 [chengmo@centos5 shell]$ cat test .sh | grep -n 'echo' 5: echo "very good!" ; 7: echo "good!" ; 9: echo "pass!" ; 11: echo "no pass!" ; #读出test.sh文件内容，通过管道转发给grep 作为输入内容 [chengmo@centos5 shell]$ cat

系统会默认设置IO设备 默认输出设备：标准输出，STDOUT, 1 默认输入设备：标准输入, STDIN, 0 标准错误输出：STDERR, 2 标准输入：键盘 标准输出和错误输出：显示器 I/O重定向：改变输入或输出来源 输出重定向符号：>（覆盖输出），>>（追加输出） 输入重定向符号：< 重定向错误输出：2>，2>> 重定向标准输出或错误输出至同一个文件：&> 来源： https://www.cnblogs.com/xumaomao/p/11892707.html

常见的http状态码分为五类，分别是 1xx（信息状态码，表示接受的请求正在处理）； 　　100 继续请求：表示服务器已经接受一部分请求，需要继续请求； 　　101 切换协议：表示请求者请求服务器切换协议，服务器已确认，并准备切换。 2xx（成功状态码，表示请求正常处理完毕）； 　　200 正常处理：表示请求已经正常处理； 　　204 没有返回：请求处理成功，但没有资源返回； 　　206 部分请求：表示客户端进行了范围请求，而服务器成功执行了这部分的GET请求。响应报文中包含由Content-Range指定范围的实体内容。 3xx（重定向状态码，表示需要进行附加操作以完成请求）； 　　301 永久重定向：资源的url已经更新； 　　302 临时重定向：资源的url已临时定位到其他位置，但是后续可能会变回来； 　　303 临时重定向：和302不同，303只能用GET方法； 　　304 资源已找到，但不符合条件：该状态码表示客户端发送附带条件的请求时（采用GET方法的请求报文中包含If-Match，If-Modified-Since，If-None-Match，If-Range，If-Unmodified-Since中任一首部）服务端允许请求访问资源，但因发生请求未满足条件的情况后，直接返回304.。 　　307 临时重定向：与302基本一致。 4xx（客户端错误码，服务端无法处理请求

输入和输出涉及到函数、数据和设备。例如，考虑echo_eof.c程序。该程序使用了输入函数getchar()、输入设备（我们已经假设）是键盘，输入数据流由单独的字符组成。假设您希望保持相同的输入函数和相同的类型的数据，但希望改变程序寻找数据的位置。“程序如何了解在哪里寻找其输入？” 默认情况下，使用标准I/O包的C程序将标准输入作为其输入源 。这就是前面标识为stdin的流。该流是作为向计算机中读取数据的常规方式而建立的。一台现代的计算机是一个灵活的工具，您可能指示它到其他地方寻求输入。特别地，您可以告诉一个程序从文件而不是键盘寻求其输入。 令程序与文件一同工作有两种方式。 一种方式是明确的使用打开文件、关闭文件、读文件、写文件等专门的函数。 这种方法我们在第13章中讨论。 第二种方式是使用一个设计用于与键盘和屏幕共同工作的程序，但是使用不同通道重定向(redirect)输入和输出，例如输入到文件和从文件中输出。 换句话说，就是您将stdin流重新分配至文件。getchar()程序继续从该流中取数据，而不真正关心流是从何处获取其数据。这种方法比第一种方法在一此方面功能更有限，但它更容易使用，而且使您能够更加熟悉常用的文件处理技术。 重定向的一个主要问题是其与操作系统而不是C相关联。 Unix、Linux和Dos重定向 一、输入重定向 假设您已经编译了echo_eof.c程序

目录 nc 命令 一、简介 二、案例 1、端口扫描 2、聊天 3、文件传输 4、目录传输 5、加密网络发送的数据 6、流视频 7、克隆一个设备 8、打开一个shell 9、反向shell 10、指定端口 11、指定源地址 三、man手册 nc 命令 一、简介 netcat所做的就是在两台电脑之间建立链接并返回两个数据流，在这之后所能做的事就看你的想像力了。你能建立一个服务器，传输文件，与朋友聊天，传输流媒体或者用它作为其它协议的独立客户端。 二、案例 1、端口扫描 端口扫描经常被系统管理员和黑客用来发现在一些机器上开放的端口，帮助他们识别系统中的漏洞。 $nc -z -v -n 172.31.100.7 21-25 可以运行在TCP或者UDP模式，默认是TCP，-u参数调整为udp. z 参数告诉netcat使用0 IO,连接成功后立即关闭连接， 不进行数据交换(谢谢@jxing 指点) v 参数指使用冗余选项（译者注：即详细输出） n 参数告诉netcat 不要使用DNS反向查询IP地址的域名 这个命令会打印21到25 所有开放的端口。Banner是一个文本，Banner是一个你连接的服务发送给你的文本信息。当你试图鉴别漏洞或者服务的类型和版本的时候，Banner信息是非常有用的。但是，并不是所有的服务都会发送banner。 一旦你发现开放的端口，你可以容易的使用netcat

1.nohup 命令 nohup 　　nohup 命令 　　用途：LINUX命令用法，不挂断地运行命令。 　　语法：nohup Command [ Arg ... ] [　& ] 　　描述：nohup 命令运行由 Command 参数和任何相关的 Arg 参数指定的命令，忽略所有挂断（SIGHUP）信号。在注销后使用 nohup 命令运行后台中的程序。要运行后台中的 nohup 命令，添加 & （ 表示“and”的符号）到命令的尾部。 　　如果不将 nohup 命令的输出重定向，输出将附加到当前目录的 nohup.out 文件中。如果当前目录的 nohup.out 文件不可写，输出重定向到 $HOME/nohup.out 文件中。如果没有文件能创建或打开以用于追加，那么 Command 参数指定的命令不可调用。如果标准错误是一个终端，那么把指定的命令写给标准错误的所有输出作为标准输出重定向到相同的文件描述符。 　　退出状态：该命令返回下列出口值： 　　126 可以查找但不能调用 Command 参数指定的命令。 　　127 nohup 命令发生错误或不能查找由 Command 参数指定的命令。 　　否则，nohup 命令的退出状态是 Command 参数指定命令的退出状态。 　　nohup命令及其输出文件 　　nohup命令：如果你正在运行一个进程