多路复用

Redis服务器是一个事件驱动程序，服务器需要处理以下两类事件： 文件事件（file event）：Redis服务器通过套接字与客户端（或者其他Redis服务器）进行连接，而文件事件就是服务器对套接字操作的抽象。服务器与客户端（或者其他服务器）的通信会产生相应的文件事件，而服务器则通过监听并处理这些事件来完成一系列网络通信操作； 时间事件（time event）：Redis服务器中的一些操作（比如serverCron函数）需要在给定的时间点执行，而时间事件就是服务器对这类定时操作的抽象。 文件事件 文件事件处理器 文件事件处理器使用I/O多路复用（multiplexing）程序来同时监听多个套接字，并根据套接字目前执行的任务来为套接字关联不同的事件处理器； 当被监听的套接字准备好执行连接应答（accept）、读取（read）、写入（write）、关闭（close）等操作时，与操作相对应的文件事件就会产生，这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。 组成 文件事件处理器的四个组成部分，它们分别是套接字、I/O多路复用程序、文件事件分派器（dispatcher），以及事件处理器。 文件事件处理器的四个组成部分 文件事件是对套接字操作的抽象，每当一个套接字准备好执行连接应答（accept）、写入、读取、关闭等操作时，就会产生一个文件事件

第十二章 并发编程 进程是程序级并发，线程是函数级并发。 三种基本的构造并发程序的方法： 进程： 每个逻辑控制流是个一个进程，由内核进行调度和维护。 I/O 多路复用： 应用程序在一个进程的上下文中显式地调度他们自己的逻辑流。 线程： 运行在单一进程上下文中的逻辑流，由内核进行调度。 12.1 基于进程的并发编程 构造并发程序最简单的方法就是 用进程。 使用大家都很熟悉的函数例如： fork exec waitpid 关于在父、子进程间共享状态信息：共享文件表，但不共享用户地址空间。 进程又独立的地址空间既是优点又是缺点： 优点：防止虚拟存储器被错误覆盖 缺点：开销高，共享状态信息才需要IPC机制 12.2 基于I/O多路复用的并发编程 就是使用select函数要求内核挂起进程，只有在一个或多个I/O事件发生后，才将控制返回给应用程序。 select函数处理类型为fd_set的集合，也叫做 描述符集合。 select函数有两个输入：一个称为 读集合 的描述符集合和该妒忌和该读集合的基数（n）(实际上是任何描述符集合的最大基数)。select函数会一直阻塞，直到读集合中至少有一个描述符准备好可以读。当且仅当一个从该描述符读取一个字节的请求不会阻塞时，描述符K就表示准备好可以读了。 作为一个副作用，select修改了参数fdset指向的fd_set，指明读集合中一个称为准备好集合的子集

Redis 事件处理 Redis服务器是一个事件驱动程序，服务器需要处理以下两类事件： 文件事件(file event)：Redis服务器通过套接字与客户端(或其他Redis服务器)进行连接，而文件事件就是服务器对套接字操作的抽象。服务器与客户端(或其他服务器)的通信会产生相应的文件事件，而服务器则通过监听并处理这些事件来完成一系列网络通信操作； 时间事件(time event)：Redis服务器的一些操作(比如serverCron函数)需要在给定的时间执行，而时间事件就是服务器对这类定时操作的抽象； 文件事件 1.文件事件处理器 文件事件处理器使用I/O多路复用(multiplexing)程序来同时监听多个套接字，并根据套接字目前执行的任务来为套接字关联不同的事件处理器； 当被监听的套接字准备好执行连接应答(accept)、读取(read)、写入(write)、关闭(close)等操作时，与操作相对应的文件事件就会产生，这时文件事件处理器就会调用套接字之前关联好的时间处理器来处理这些事件； 2.组成 文件事件处理器由四个组成部分：套接字、I/O多路复用程序、文件事件调度器，以及事件处理器； 文件事件是对套接字操作的抽象，每当一个套接字准备好执行连接应答、写入、读取、关闭等操作时，就会产生一个文件事件。因为一个服务器通常会连接多个套接字，所以多个文件事件有可能会并发地出现。 I

前言 我们知道，虽然OSI协议的实现太过于复杂，几乎没有厂商可以生产出符合该协议的通信产品，但OSI七层模型的体系结构，概念十分清晰，理论也很完整。本文就OSI体系结构来进行介绍和对比。 国际标准化组织除了定义了OSI参考模型外，还开发了实现7个功能层次的各种协议和服务标准，这些协议和服务统称为“OSI协议”。OSI协议是一些已有的协议和OSI新开发的协议的混合体。例如，大部分物理层和数据链路层协议采用的是现有的协议，而数据链路层以上的是由该组织自行起草的。产生OSI协议的目的是提出能满足所有组网需求的国际标准，但到目前为止，实现情况距离这一目标还非常遥远。 虽然OSI协议集缺乏商业动力，但OSI/RM作为网络系统的知识框架，对于学习和理解网络标准还是十分有用的。和其他的协议集一样，OSI协议是实现某些功能过程的描述和说明。每一个OSI协议都详细的规定了特定层次的功能特性。 OSI协议集如下图所示： 下面我们来分别说明7个功能层次的各种协议与各层的功能： 在物理层中，OSI采用了各种现有的协议，其中有RS-232、RS-449、X.21、V.35、ISDN，以及FDDI、IEEE 802.3、IEEE 802.4和IEEE 802.5的物理层协议。 物理层（Physical Layer）是OSI模型中最低的一层，位于OSI参考模型的最底层，它直接面向实际承担数据传输的物理媒体

第十三周（11.30-12.06）: 一、学习目标 1. 掌握三种并发的方式：进程、线程、I/O多路复用 2. 掌握线程控制及相关系统调用 3. 掌握线程同步互斥及相关系统调用 二、学习资源 1. 教材：第十一章《网络编程》简单过一下 2. 教材：第十二章《并发编程》 并发编程 如果逻辑控制流在时间上重叠，那么他们就是并发的，这种常见的现象叫做并发。 并发不限制于内核： 访问慢速I/O 设备 与人交互 通过推迟工作以降低延迟 服务多个网络客户端 在多核机器上进行并发计算 进程 I/O多路复用 线程 12.1基于进程的并发编程 第一步：服务器接受客户端的连接请求 第二步：服务器派生一个子进程为这个客服端服务 第三步：服务器接受另一个连接请求 第四步：服务器派生另一个子进程为新的客户端服务 12.1.2关于进程的优劣 模型：共享文件表，但是不共享用户地址空间 独立的地址空间使得进程共享状态信息变得更加困难 基于I/O多路复用的并发编程 对于两个事件： 网络客户端发起的连接请求 用户在键盘上输入命令行 针对不知道等待哪个事件，一个解决办法就是I/O多路复用技术。 基本思路就是使用select函数，要求内核挂起进程，只有在一个或者多个I/O事件发生后，才将控制返回给应用程序，就像P651事例一样： 当集合{0，4}中任意描述符准备好读时返回。 当集合{1，2，7}中任意描述符准备好写时返回

参考文档： http://blog.csdn.net/tennysonsky/article/details/45745887 select()，poll()，epoll()都是I/O多路复用的机制。I/O多路复用通过一种机制， 可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪，就是这个文件描述符进行读写操作之前），能够通知程序进行相应的读写操作 。 但select()，poll()，epoll()本质上都是同步I/O ，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需自己负责进行读写，异步I/O的实现会负责把数据从内核拷贝到用户空间。 与多线程和多进程相比，I/O 多路复用的最大优势是系统开销小，系统不需要建立新的进程或者线程，也不必维护这些线程和进程。 select 监视并等待多个文件描述符的属性变化（可读、可写或错误异常） select()函数监视的文件描述符分 3 类，分别是writefds、readfds、和 exceptfds 调用后 select() 函数会阻塞，直到有描述符就绪（有数据可读、可写、或者有错误异常），或者超时（ timeout 指定等待时间），函数才返回 当 select()函数返回后，可以通过遍历 fdset，来找到就绪的描述符 int select(int nfds, fd_set

　　select，poll，epoll都是IO多路复用的机制。I/O多路复用就是 通过一种机制，一个进程可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。 但select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需自己负责进行读写，异步I/O的实现会负责把数据从内核拷贝到用户空间。 1.select 　　select 函数监视的文件描述符分3类，分别是writefds、readfds、和exceptfds。调用后select函数会阻塞，直到有描述副就绪（有数据 可读、可写、或者有except），或者超时（timeout指定等待时间，如果立即返回设为null即可），函数返回。当select函数返回后，可以 通过遍历fdset，来找到就绪的描述符。 　　 select目前几乎在所有的平台上支持，其良好跨平台支持也是它的一个优点 。select的一 个缺点在于单个进程能够监视的文件描述符的数量存在最大限制，在Linux上一般为1024，可以通过修改宏定义甚至重新编译内核的方式提升这一限制，但是这样也会造成效率的降低。 　　select有3个缺点： 　　　　每次调用select，都需要把fd集合从用户态拷贝到内核态，这个开销在fd很多时会很大。 　

IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，它就通知该进程。IO多路复用适用如下场合： 当客户处理多个描述符时（一般是交互式输入和网络套接口），必须使用I/O复用。 当一个客户同时处理多个套接口时，而这种情况是可能的，但很少出现。 如果一个TCP服务器既要处理监听套接口，又要处理已连接套接口，一般也要用到I/O复用。 如果一个服务器即要处理TCP，又要处理UDP，一般要使用I/O复用。 如果一个服务器要处理多个服务或多个协议，一般要使用I/O复用。 与多进程和多线程技术相比，I/O多路复用技术的最大优势是系统开销小，系统不必创建进程/线程，也不必维护这些进程/线程，从而大大减小了系统的开销。 目前支持I/O多路复用的系统调用有 select，pselect，poll，epoll，I/O多路复用就是通过一种机制，一个进程可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，pselect，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需自己负责进行读写，异步I/O的实现会负责把数据从内核拷贝到用户空间。 对于IO多路复用机制不理解的同学，可以先行参考《聊聊Linux 五种IO模型》，来了解Linux五种IO模型。

Redis服务器是一个事件驱动程序，服务器需要处理以下两类事件 1：文件事件(file event):Redis服务器通过套接字与客户端进行连接，而文件事件就是服务器对套接字操作的抽象。服务器与客户端的通信会产生相应的文件事件，而服务器则通过监听并处理这些事件来完成一系列网络通信操作 2：时间事件(time event):Redis服务器中的一些操作(比如serverCron函数)需要在给定的时间点执行,而时间事件就是服务器对这类定时操作的抽象 文件事件 Redis基于Reactor模式开发了自己的网络事件处理器：这个处理器被称为文件事件处理器(file event handler) 1：文件事件处理器使用I/O多路复用程序来同时监听多个套接字，并根据套接字目前执行的任务来为套接字关联不同的事件处理器 2：当被监听的套接字准备好执行连接应答(accept)、读取(read)、写入(write)、关闭(close)等操作时，与操作相对应的文件事件就会发生，这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件 虽然文件事件处理器以单线程方式运行，但通过使用I/O多路复用程序来监听多个套接字，文件事件处理器既实现了高性能的网络通信模型，又可以很好地与Redis服务器中其他同样以单线程方式运行的模块进行对接,这保持了Redis内部单线程设计的简单性 文件事件处理器的构成

以下是本文的目录大纲： 　　一.什么是同步？什么是异步？ 　　二.什么是阻塞？什么是非阻塞？ 　　三.什么是阻塞IO？什么是非阻塞IO？ 　　四.什么是同步IO？什么是异步IO？ 　　五.五种IO模型 　　六.两种高性能IO设计模式 一.什么是同步？什么是异步？ 　　同步和异步的概念出来已经很久了，网上有关同步和异步的说法也有很多。以下是我个人的理解： 　　同步就是：如果有多个任务或者事件要发生，这些任务或者事件必须逐个地进行，一个事件或者任务的执行会导致整个流程的暂时等待，这些事件没有办法并发地执行； 　　异步就是：如果有多个任务或者事件发生，这些事件可以并发地执行，一个事件或者任务的执行不会导致整个流程的暂时等待。 　　这就是同步和异步。举个简单的例子，假如有一个任务包括两个子任务A和B，对于同步来说，当A在执行的过程中，B只有等待，直至A执行完毕，B才能执行；而对于异步就是A和B可以并发地执行，B不必等待A执行完毕之后再执行，这样就不会由于A的执行导致整个任务的暂时等待。 　　如果还不理解，可以先看下面这2段代码： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 void fun1() { } void fun2() { } void function(){ fun1(); fun2() ..... ..... } 　　这段代码就是典型的同步