异步io

#是否已经安装了AIO包 #rpm -qa|grep aio libaio-0.3.107-10.el6.x86_64 libaio-devel-0.3.107-10.el6.x86_64 libsane-hpaio-3.12.4-4.el6_4.1.x86_64 #数据库在链接时是否已经加载了aio的包 $/usr/bin/ldd $ORACLE_HOME/bin/oracle | grep libaio libaio.so.1 => /lib64/libaio.so.1 (0x00000032e6800000) 如果没有看到libaio的包，说明Oracle没有链接aio，那么这时就需要重新make oracle的可执行文件，10g以后的方法为 make PL_ORALIBS=-laio -f ins_rdbms.mk async_on #数据库的初始化参数开启了异步IO SQL> show parameter disk_asynch_io NAME TYPE VALUE ------------------------------------ ----------- ------------------------------ disk_asynch_io boolean TRUE SQL> show parameter filesystemio_options NAME

最近在测试Oracle的时候，很想测试下使用异步IO的性能。但是异步IO是需要专门配置的，否则的话，容易遇到很著名的“ORA-01578: ORACLE data block corrupted (file # 202, block # 257)”的问题。 那么什么是异步IO呢，异步IO有什么好处？ 一般说来,异步I/O是和同步I/O相比较来说的,如果是同步I/O,当一个I/O操作执行时,应用程序必须等待,直到此I/O执行完. 相反,异步I/O操作在后台运行,I/O操作和应用程序可以同时运行,提高了系统性能; 使用异步I/O会提高I/O流量,如果应用是对裸设备进行操作,这种优势更加明显, 因此象 数据库 ,文件 服务器 等应用往往会利用异步I/O,使得多个I/O操作同时执行. Oracle在默认情况是不使用异步IO的。可查看参数filesystemio_options（默认值为none），有四种选项 ■ ASYNCH: enable asynchronous I/O on file system files, which has no timing requirement for transmission. ■ DIRECTIO: enable direct I/O on file system files, which bypasses the buffer cache. ■

基础概念 文件描述fd 文件描述符(file description),用于表述指向文件引用的抽象话题概念 文件描述符在形式上是一个非负整数,实际上它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表,当程序打开一个现有文件或者创建一个新文件时,内核就向该进程返回一个文件描述符 unix系统把任何对象看做是文件,文件就是一串二进制流,我门对数据(流)的读写操作就是对文件的操作,所以当我们的进程在做读写操作时会返回一个记录访问位置的索引值,当我们继续操作该文件时可直接通过这个索引值到达上一次的位置. 用户空间和内核空间,与进程 现在操作系统都是采用虚拟存储器,对于32位操作系统,它的寻址空间为4G.操作系统的核心是内核,独立于普通程序,可以访问受保护的内存空间,也有访问底层硬件设备的所有权限.为了保证用户进程不能直接操作内核,保证内核安全,操作系统将虚拟空间划分为两部分,一部分称为内核空间,一部分称为用户空间,这两部分空间大小和地址范围分别为1G和3G,内核空间供内核使用,用户空间供用户进程使用 进程是程序的一次动态执行过程,它经历了从代码加载,执行到执行完毕的一个完整过程,这个过程也是进程本身从产生,发展到最终消亡的过程,多进程操作系统能同时运行多个进程,由于CPU具备分时机制,所以每个进程都能获得自己的时间片,由于CPU执行速度非常快

基础知识 Linux将所有外部设备都看做一个文件来进行操作。因此，linux对所有外部设备的操作都可以看做是文件的操作。文件的操作当然需要有个标示描述它，这就是文件描述符（file descriptor）。 linux的IO操作如何形象理解呢？ 我们说网络socket的read（）是一个IO操作命令，具体流程是这样的： 应用程序调用read命令，通知内核需要做读取数据操作 内核创建一个文件描述符 内核从物理层收到读数据的命令，从网络中获取数据包 数据包传递到TCP/IP层，解析数据包的头 内核将数据包缓存在文件描述符的读缓存区（接受缓存区）中，注意这里的读缓存区是在内核中的 当文件描述符读缓存区数据字节数大于应用程序定义的低水位的时候（read的一个参数），此时文件描述符处于读就绪的状态 将读缓存区中的数据复制到应用程序（用户区）返回 这里需要说明的是 1 每个文件描述符都有自己的读缓冲区和写缓冲区，读缓冲区对应的是read操作，写缓冲区对应的就是write操作了 2 读缓冲区和写缓冲区都是在内核区中 IO模型 现有的linux IO模型有5种： 阻塞式IO模型，非阻塞式IO模型，IO复用模型，信号驱动式IO模型，异步IO模型 经常弄不清楚的就是阻塞，非阻塞，异步，同步 说明一下 上图给出的同步异步标准是：数据描述符缓存是由谁来进行读取的？由用户程序读取，则判断为同步；由内核推送

可用的文件IO函数：打开文件，读文件，写文件等（不带缓冲的IO函数（指每个read或write函数都调用内核的一个系统调用））　　　　不是ISO C的组成部分，但是时POSIX和SUS的组成部分 UNIX系统中常用的文件IO函数：open,read,wirte,lseek,close函数 当打开一个现有文件或创建一个新文件时，内核向进程返回一个文件描述符（非负整数） UNIX的shell把文件描述符0与标准输入关联，文件描述符与标准输出关联，文件描述符2与标准错误输出关联，在POSIX标准中，对应的被替换为符号常量STDIN_FLLENO,SEDOUT_FLLENO,STDERR_FLLENO　　<unistd,h> 函数open和openat (fcntl.h) int open(const char* path,int oflag,.../*mode_t mode*/); int openat(int fd,const char* path,int oflag,.../*mode_t mode*/); 将最后一个参数写为...,表明余下的参数的数量以及类型是可变的 由open和openat函数返回的文件描述符一定是最小的未用的描述符数值 若path参数指定为绝对路径，fd参数无用，openat函数相当于open函数　　　　path指定的是相对路径

阻塞IO / 非阻塞IO /IO多路复用 / 异步IO 说明：同步IO包含（阻塞IO / 非阻塞IO /IO多路复用），因为他们有个共同特性就是都需要内核态到用户态的一个等待。 基本概念解释，环境限定为linux： 1：用户空间和内存空间 首先操作系统是采用虚拟存储器，就32位系统来说，它的虚拟存储空间是2的32次方==4G，操作系统的核心是内核，它是独立于普通的应用程序，它可以访问受保护的内存空间，底层硬件等，为保障用户进程不能直接操作内核，操作系统将虚拟存储空间分为2部分，分为：内核空间和用户空间，内核空间将最高的1G字节（寻址：0xC0000000到0xFFFFFFFF）分配使用,最低的3G字节分配给用户空间，供进程使用。 2：进程切换 也就类似线程切换，由内核将正在CPU上执行的进程挂起，然后恢复以前挂起的进程，这就是进程切换。所以进程都是在操作系统的内核的支持下运行的。与内核紧密相连 从一个进程切换到另一个进程，运行过程如下： 1：保存处理机上下文，包括程序计数器和寄存器 2：更新PCB信息 3：把进程的PCB移入相应的队列， 4：选择另一个进程执行，并更新其PCB 5：更新内存管理的数据结构 6：恢复处理机上下文 3：进程的阻塞 当正在执行的进程运行期间，由于所期待的事情未发生，如（请求资源失败，某种操作的完成，新数据尚未到达等），则由系统自动执行阻塞原语

1.简介 Gen_server实现了通用服务器client_server原理，几个不同的客户端 去 分享服务端管理的资源(如图)，gen_server提供标准的接口函数和包含追踪功能以及错误报告来实现通用的服务器，同时可以作为OTP监控树的一部分。 Gen_server函数与回调函数之间的关系： 1 gen_server moduleCallbackmodule 2 -------------------------------- 3 gen_server:start_link ----->Module:init/1 4 gen_server:call 5 gen_server:multi_call ----->Module:handle_call/3 6 gen_server:cast 7 gen_server:abcast ----->Module:handle_cast/2 8 ------>Module:handle_info/2 9 ------>Module:terminate/2 10 ------>Module:code_change/3 如果回调函数失败或者是返回bad value,gen_server将终止。 Gen_server可以处理来自系统的消息，通过sys模块可以调试一个gen_server.(未实践) 注意：一个gen

同步和异步，阻塞和非阻塞 同步和异步 关注的是结果消息的通信机制 同步 : 同步的意思就是调用方需要主动等待结果的返回 异步 : 异步的意思就是不需要主动等待结果的返回，而是通过其他手段比如，状态通知，回调函数等。 阻塞和非阻塞 主要关注的是等待结果返回调用方的状态 阻塞 : 是指结果返回之前，当前线程被挂起，不做任何事 非阻塞 : 是指结果在返回之前，线程可以做一些其他事，不会被挂起。 两者的组合 1. 同步阻塞 : 同步阻塞基本也是编程中最常见的模型，打个比方你去商店买衣服，你去了之后发现衣服卖完了，那你就在店里面一直等，期间不做任何事 ( 包括看手机 ) ，等着商家进货，直到有货为止，这个效率很低。 2. 同步非阻塞 : 同步非阻塞在编程中可以抽象为一个轮询模式，你去了商店之后，发现衣服卖完了，这个时候不需要傻傻的等着，你可以去其他地方比如奶茶店，买杯水，但是你还是需要时不时的去商店问老板新衣服到了吗。 3. 异步阻塞 : 异步阻塞这个编程里面用的较少，有点类似你写了个线程池 ,submit 然后马上 future.get () ，这样线程其实还是挂起的。有点像你去商店买衣服，这个时候发现衣服没有了，这个时候你就给老板留给电话，说衣服到了就给我打电话，然后你就守着这个电话，一直等着他响什么事也不做。这样感觉的确有点傻，所以这个模式用得比较少。 4. 异步非阻塞 : 异步非阻塞

对于一个应用程序即一个操作系统进程来说，它既有内核空间(与其他进程共享),也有用户空间(进程私有)，它们都是处于虚拟地址空间中。 用户进程是无法访问内核空间的，它只能访问用户空间，通过用户空间去内核空间复制数据，然后进行处理 。 1、阻塞io(同步io)： 　　发起请求就一直等待，直到数据返回。好比你去商场试衣间，里面有人，那你就一直在门外等着。(全程阻塞) 　　 2、非阻塞io(同步io)： 　　 不管有没有数据都返回，没有就隔一段时间再来请求，如此循环。好比你要喝水，水还没烧开，你就隔段时间去看一下饮水机，直到水烧开为止。 (复制数据时阻塞) 　　 　　当用户进程发出read操作时，如果kernel（内核空间）中的数据还没有准备好，那么它并不会block用户进程，而是立刻返回一个error。从用户进程角度讲 ，它发起一个read操作后，并不需要等待，而是马上就得到了一个结果。用户进程判断结果是一个error时，它就知道数据还没有准备好，于是它可以再次发送read操作。一旦kernel中的数据准备好了，并且又再次收到了用户进程的system call，那么它马上就将数据拷贝到了用户内存（ 此时占用CPU阻塞 ），然后返回。 3、 多路复用 io(同步io)： 　 　　I/O是指网络I/O， 多路指多个TCP连接(即socket或者channel），复用指复用一个或几个线程

如果你想在Windows平台上构建服务器应用，那么I/O模型是你必须考虑的。 Windows操作系统提供了五种I/O模型，分别是： ■ 选择（select）； ■ 异步选择（WSAAsyncSelect）； ■ 事件选择（WSAEventSelect）； ■ 重叠I/O（Overlapped I/O）； ■ 完成端口（Completion Port) 。 每一种模型适用于一种特定的应用场景。程序员应该对自己的应用需求非常明确， 综合考虑到程序的扩展性和可移植性等因素，作出自己的选择。 ============================================== █ 选择（select）模型是Winsock中最常见的 I/O模型。核心便是利用 select 函数，实现对 I/O的管理！ 利用 select 函数来判断某Socket上是否有数据可读，或者能否向一个套接字写入数据，防止程序在Socket处于阻塞模式中时， 在一次 I/O 调用（如send或recv、accept等）过程中，被迫进入“锁定”状态；同时防止在套接字处于非阻塞模 式中时，产生WSAEWOULDBLOCK错误。 █ select 的函数原型如下： int select( __in int nfds, __in_out fd_set* readfds, __in_out fd_set*