异步io

五种IO模型： 一.在总结五种IO模型之前我们了解一下什么是IO？？？ I表示input，O表示output，合在一起就是IO―表示输入输出设备；每个设备都有一个专用的IO地址，用来处理自己的输入输出信息； 需要注意：IO地址绝对不能有重复，如果两个IO地址有冲突则会造成系统硬件不能正常工作； 二. IO模型： 对于一次IO访问（以read举例），数据会先被拷贝到操作系统内核的缓冲区中， 然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。 所以说，当一个read操作发生时，它会经历两个阶段： （1） 等待数据准备 （2）将数据从内核拷贝到进程中 在网络编程环境中，一次IO操作主要包括两个部分： 等数据准备 拷贝数据 所以如果想要提高IO效率，就应该想办法让等的比重减少。 Linux下常见五种IO模型分类： 三.五种IO模型及基本概念： 1.阻塞IO： 在内核将数据准备好之前, 系统调用会一直等，所有的套接字, 默认都是阻塞方式； 具体的过程： （1）当用户进程调用了recvfrom这个系统调用，kernel就开始了IO的第一个阶段： 准备数据（对于网络IO来说，很多时候数据在一开始还没有到达；比如，还没有收到一个完整的UDP包。这个时候kernel就要等待足够的数据到来）；这个过程需要等待，也就是说数据被拷贝到操作系统内核的缓冲区中是需要一个过程的；而在用户进程这边

大并发服务器设计目标 高性能(High Performance). 要求编写出来的服务器能够最大限度发挥机器性能, 使得机器在满负荷的情况下能够处理尽可能多的并发请求, 对于大量并发请求能够及时快速做出响应 高可用(High Availability). 要求服务器7*24小时服务, 故障转移 伸缩性(Scalability). 服务器具有良好框架, 分层设计, 业务分离, 并且能够进行灵活部署 分布式: 负载均衡 分布式存储 分布式计算 C/S结构: 任何网络系统都可以抽象为C/S结构(客户端, 服务端) 网络I/O+服务器高性能编程技术+数据库 超出数据库连接数: 数据库并发连接数10个, 应用服务器这边有1000个并发请求, 将会有990个请求失败. 解决办法: 增加一个中间层DAL(数据库访问控制层), 一个队列进行排队 超出时限: 数据库并发连接数10个, 数据库1秒钟之内最能处理1000个请求, 应用服务器这边有10000个并发请求, 会出现0-10秒的等待. 如果系统规定响应时间5秒, 则该系统不能处理10000个并发请求, 这时数据库并发能力5000, 数据出现瓶颈. 提高数据库的并发能力 队列+连接池(DAL) 主要逻辑挪到应用服务器处理, 数据库只做辅助的业务处理. 在数据库上进行计算能力或处理处理逻辑不如操作系统效率高. --> 很有限降低数据库的压力,

1、TCP拥塞如何控制？ （1）滑动窗口：TCP中采用滑动窗口来进行传输控制，滑动窗口的大小意味着接收方还有多大的缓冲区可以用于接收数据 滑动窗口指出接收缓冲区中的可用空间，从而确保发送方发送的数据不会溢出缓冲区。 窗口时刻动态变化：当接收发送发数据时，窗口大小减小；当接收方从缓冲区中读取数据时，窗口大小增大。 TCP的接收缓冲区满，它必须等待应用程序从这个缓冲区读取数据后才能再接收发送方传来的数据。 UDP不提供流控制，按发送方的速率发送数据，不管接收方的缓冲区是否装得下。 ## 参考文献：《UNIX网络编程》 （2）TCP拥塞的原因：在早期的时候，通信的双方不知道网络的状况，所以过程中可能会出现中间节点阻塞丢包，所以就有了滑动窗口机制来解决这个问题。 （3）滑动窗口协议：用于网络数据传输时的流量控制，以避免拥塞的发生。如果过多的发送方同时以很快的速度发送大量的数据包，接收方有可能并没有那么高的接收数据能力，因此极易导致网络的拥塞（并发服务器）。 （4）滑动窗口的值：网络中没有出现拥塞，滑动窗口的值可以增大一些（以便把更多的数据包发送出去）；网络出现拥塞，滑动窗口的值应该减小一些（以减少注入到网络中的数据包数） （5）拥塞控制算法： 基于丢包的拥塞控制：将丢包视为出现拥塞，采取缓慢探测的方式，逐渐增大拥塞窗口，当出现丢包时，将拥塞窗口减小，如Reno、Cubic等。

Ŀ¼ 模型即解决某个问题的固定套路 I/O 指的是输入输出 IO的问题:当我们要输入数据或输出数据通常很长一段时间,当然是对于CPU而言 在等待输入的过程中,CPU就处于闲置状态,没事干,造成了资源浪费 注意:IO其实有很多类型 例如 socket网络IO,内存到内存的copy,等待键盘输入,对比起来socket网络IO需要等待的时间是最长的,这也是咱们重点关注的地方, 学习IO模型要干什么?就是在等待IO操作的过程中利用CPU做别的事情, 操作系统有两种状态: 内核态和用户态 ,当操作系统需要控制硬件时例如接受网卡上的数据,必须先转换到内核态,接受完数据后,要把数据从操作系统缓冲器copy到应用程序的缓冲区,从内核态转为用户态, 涉及到的步骤 buffer 缓冲 cache 缓存 将数据读入到内存所使用的空间叫做**缓冲** 从内存中读取数据存放数据的空间叫作**缓存**** 缓冲是为了降低IO次数 缓存是为了提高读取效率 wait_data copy_data recv accept 需要经历 wait->copy send 只需要经历copy 默认情况下 TCP程序就是阻塞IO模型 1.执行BLOCK将进程阻塞 2.等待数据 3.copy数据 4.唤醒进程,继续,执行 该模型提高效率方式,当你执行recv/accept会进入wait_data的阶段,

学习Node就绕不开异步IO， 异步IO又与事件循环息息相关， 而关于这一块一直没有仔细去了解整理过， 刚好最近在做项目的时候， 有了一些思考就记录了下来， 希望能尽量将这一块的知识整理清楚， 如有错误， 请指点轻喷~~ 以前端请求为一个例子，下面的代码很多人都应该写过 $.ajax(url).succedd(() => { ...... // to do something }) 同步异步 　　如果是同步的话， 那么应该是客户端发起请求后， 一直等到serve处理请求完成后才返回继续执行后续的逻辑， 这样客户端 和服务端之间就保持了同步的状态 　　如果是异步的话， 那么应该是客户端发起请求后， 立即返回， 而请求可能还没有到达服务端或者请求正在处理， 当然在异步情况下， 客户端通常会注册事件来处理请求完成后的情况， 　如上面的succeed函数。 阻塞非阻塞 　　首先需要明白一个概念， Js是单线程， 但是浏览器并不是， 事实上你的请求是浏览器的另一个线程在跑。 　　如果是阻塞的话， 那么该线程就会一直等到这个请求完成之后才能被释放用于其他请求 。 　　如果是非阻塞的话， 那么该线程就可以发起请求后而不用等请求完成继续做其他事情。 IO是什么？ I/O（英语：Input/Output），即输入/输出，通常指数据在内部存储器和外部存储器或其他周边设备之间的输入和输出。

一、代码部分 读： <?php /** * 异步文件系统仅限于4.3.0之前的版本 * 读取文件 */ $filename = dirname(__FILE__).DIRECTORY_SEPARATOR.'1.txt'; // 最后执行回调函数 // swoole_async_readfile最大可读取4M的文件，受限于SW_AIO_MAX_FILESIZE宏 // 使用 swoole_async_read() $result = swoole_async_readfile($filename, function ($filename, $fileContent) { echo 'filename: '.$filename.PHP_EOL; echo 'content: '.$fileContent.PHP_EOL; }, FILE_APPEND); // 返回bool var_dump($result); // 此处先执行 echo 'start'.PHP_EOL; 写： <?php $filename = dirname(__FILE__).DIRECTORY_SEPARATOR.'1.txt'; $content = date('Y-m-d H:i:s'); swoole_async_writefile($filename,$content, function(

今天下班早些来普及下nginx io模型： 用户空间与内核空间： 现在操作系统都是采用虚拟存储器，那么对32位操作系统而言，它的寻址空间（虚拟存储空间）为4G（2的32次方）。操作系统的核心是内核，独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的所有权限。为了保证用户进程不能直接操作内核（kernel），保证内核的安全，操作系统将虚拟空间划分为两部分，一部分为内核空间，一部分为用户空间。针对linux操作系统而言，将最高的1G字节（从虚拟地址0xC0000000到0xFFFFFFFF），供内核使用，称为内核空间，而将较低的3G字节（从虚拟地址0x00000000到0xBFFFFFFF），供各个进程使用，称为用户空间。 进程切换： 为了控制进程的执行，内核必须有能力挂起正在CPU上运行的进程，并恢复以前挂起的某个进程的执行。这种行为被称为进程切换。因此可以说，任何进程都是在操作系统内核的支持下运行的，是与内核紧密相关的。 从一个进程的运行转到另一个进程上运行，这个过程中经过下面这些变化： 保存处理机上下文，包括程序计数器和其他寄存器。 更新PCB信息。 把进程的PCB移入相应的队列，如就绪、在某事件阻塞等队列。 选择另一个进程执行，并更新其PCB。 更新内存管理的数据结构。 恢复处理机上下文。 注：总而言之就是很耗资源，具体的可以参考这篇文章： http:/

GUID #include <initguid.h> // For DEFINE_GUID // Device Interface GUID. DEFINE_GUID(GUID_DEVINTERFACE_FOR_D3XX, GUID DeviceGUID[2] = {0}; GUID是通过特定算法产生的一个二进制长度为128位的数字，在空间上和时间上具有唯一性，保证同一时间不同地方产生的数字不同。GUID的主要目的是产生完全唯一的数字。在理想情况下，任何计算机和计算机集群都不会生成两个相同的GUID。随机生成两个相同GUID的可能性是非常小的，但并不为0。 　　用了DEFINE_GUID，你可以使用在所有源文件中包含同一个头文件，在头文件中这样定义GUID：DEFINE_GUID(CLSID_MyObject,0x00000000, 0x0000, 0x0000, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00); 　　在没有包含Initguid.h的地方，DEFINE_GUID宏创建外部引用来使用GUID值，在包含Initguid.h的地方，DEFINE_GUID重定义DEFINE_GUID宏以产生GUID的定义。 typedef struct _GUID { unsigned long Data1; unsigned short

关于python异步编程的演进过程，两篇文章阐述得妥妥当当，明明白白。 中文资料：https://mp.weixin.qq.com/s?__biz=MzIxMjY5NTE0MA==&mid=2247483720&idx=1&sn=f016c06ddd17765fd50b705fed64429c 英文资料：http://aosabook.org/en/500L/a-web-crawler-with-asyncio-coroutines.html 其实中文资料就是参考的英文资料，英文资料是开源书《 500 Lines or Less 》中的一个主题章节，整书地址：https://github.com/aosabook/500lines python的asyncio源码的核心思路其实跟基于生成器的协程异步编程思路大体一致，只是前者做了大量的代码优化和功能扩充。所以对照生成器协程代码来理解asyncio是很有帮助的。以下的这一小段代码就是采用基于生成器的协程的异步编程方式写的一个小爬虫案例，来自上述中文资料，asyncio的核心代码的思路大体上能从这段代码中找到原型。 该脚本命名为：yield_from.py import socket from selectors import DefaultSelector, EVENT_READ, EVENT_WRITE selector =

关于异步的一些基本了解请 参考这篇文章 , 或者 内核态和用户态 由于需要限制不同的程序之间的访问能力，防止他们获取别的程序的内存数据，或者获取外围设备的数据，操作系统划分出两个权限等级：用户态和内核态。 内核态：当一个任务（进程）执行系统调用而陷入内核代码中执行时，称进程处于内核运行态（内核态）。 用户态：当进程在执行用户自己的代码时，则称其处于用户运行态（用户态）。 五种 IO 模型中， IO 复用的技术较为成熟，因此使用也比较广泛。而最为理想的是异步 IO，整个过程没有阻塞，而且有通知。 IO 多路复用模型有三种：select poll epoll，它们的性能是层层递增。 2.1 select sokect 是通过一个 select() 系统调用来监视多个文件描述符，当 select() 返回后，该数组中就绪的文件描述符便会被该内核修改标志位，使得进程可以获得这些文件描述符从而进行后续的读写操作。 select 的优点是支持跨平台，缺点在于单个进程能够监视的文件描述符的数量存在最大限制。 另外 select() 所维护的存储大量文件描述符的数据结构，随着文件描述符数量的增大，其复制的开销也线性增长。同时，由于网络响应时间的延迟使得大量 TCP 连接处于非活跃状态，但调用 select() 会对所有 socket 进行一次线性扫描，所以这也浪费了一定的开销。 文件描述符 fd