异步队列

一.概述 Node.js 是一种建立在Google Chrome’s v8 engine上的 non-blocking (非阻塞）, event-driven （基于事件的） I/O平台. 以事件驱动为核心，单线程，单进程。Node.js 最大的特点就是采用异步式 I/O 与事件驱动的架构设计。对于高并发的解决方案，传统的架构是多线程模型，也就是为每个业务逻辑提供一个系统线程，通过系统线程切换来弥补同步式 I/O 调用时的时间开销。Node.js 使用的是单线程模型，对于所有 I/O 都采用异步式的请求方式，避免了频繁的上下文切换。Node.js 在执行的过程中会维护一个事件队列，程序在执行时进入事件循环等待下一个事件到来，每个异步式 I/O 请求完成后会被推送到事件队列，等待程序进程进行处理。事件驱动机制是Node.js通过内部单线程高效率地维护事件循环队列来实现的，没有多线程的资源占用和上下文切换，这意味着面对大规模的http请求，Node.js凭借事件驱动搞定一切。因为Node是基于事件驱动和无阻塞的，所以非常适合处理并发请求。可以通过运行多个Node.js进程的方式来有效利用多个CPU。 二.Node.js选择的异步I/O方案 1.在Linux下，node.js靠libev和libeio配合使用来实现异步I/O。 (1).什么是libev? • libev是一个事件驱动库

目录 Gevent gevent基础之阻塞，非阻塞 同步，异步概念 同步异步与阻塞，非阻塞区别 Queue python内置Queue介绍 Gevent gevent基础之阻塞，非阻塞 1.gevent中一个很大的改进就是将阻塞IO改为非阻塞IO； 阻塞调用是指调用结果返回之前，当前线程会被挂起。函数只有在得到结果之后才会返回 非阻塞指在不能立刻得到结果之前，该函数不会阻塞当前线程，而会立刻返回 同步，异步概念 1.同步就是发生调用时，一定等待结果返回，整个调用才结束； 2.异步就是发生调用后，立即返回，不等待结果返回。被调用者通过状态、通知来通知调用者，或通过回调函数处理这个调用。 同步异步与阻塞，非阻塞区别 1.阻塞/非阻塞, 它们是程序在等待消息(无所谓同步或者异步)时的状态； 2.同步/异步，是程序获得关注消息通知的机制。 要实现异步的爬虫方式的话，需要用到多协程。在它的帮助下，我们能实现前面提到的“让多个爬虫替我们干活” 它的原理是：一个任务在执行过程中，如果遇到等待，就先去执行其他的任务 当等待结束，再回来继续之前的那个任务。 在计算机的世界，这种任务来回切换得非常快速，看上去就像多个任务在被同时执行一样。 这就好比当你要做一桌饭菜，你可以在等电饭煲蒸饭的时候去炒菜。而不是等饭做好，再去炒菜。你还是那个你，但工作时间就这样被缩短了。多协程能够缩短工作时间的原理，也是如此

下载地址 目录 第1章 Node简介 1.1 Node的诞生历程 1.2 Node的命名与起源 1.2.1 为什么是JavaScript 1.2.2 为什么叫Node 1.3 Node给JavaScript带来的意义 1.4 Node的特点 1.4.1 异步I/O 1.4.2 事件与回调函数 1.4.3 单线程 1.4.4 跨平台 1.5 Node的应用场景 1.5.1 I/O密集型 1.5.2 是否不擅长CPU密集型业务 1.5.3 与遗留系统和平共处 1.5.4 分布式应用 1.6 Node的使用者 1.7 参考资源 第2章 模块机制 2.1 CommonJS规范 2.1.1 CommonJS的出发点 2.1.2 CommonJS的模块规范 2.2 Node的模块实现 2.2.1 优先从缓存加载 2.2.2 路径分析和文件定位 2.2.3 模块编译 2.3 核心模块 2.3.1 JavaScript核心模块的编译过程 2.3.2 C/C++核心模块的编译过程 2.3.3 核心模块的引入流程 2.3.4 编写核心模块 2.4 C/C++扩展模块 2.4.1 前提条件 2.4.2 C/C++扩展模块的编写 2.4.3 C/C++扩展模块的编译 2.4.4 C/C++扩展模块的加载 2.5 模块调用栈 2.6 包与NPM 2.6.1 包结构 2.6.2 包描述文件与NPM 2.6.3

NPM是NodeJS包管理工具; package.json用于定义包的属性; Node.js自带REPL（交互式解释器）。 Node.js的异步实现 Node.js异步编程的直接体现就是回调。 异步编程依托于 回调 来实现，但不是使用了回调就实现了异步。 回调函数在完成任务后就会被调用，Node使用了大量的回调函数，Node所有API都支持回调函数。 Node.js是单进程、单线程应用程序，但是通过事件和回调支持并发，所以性能非常高。 Node.js的每一个API都是异步的，并作为一个独立线程运行，使用异步函数调用，并处理并发。 Node.js基本上所有的事件机制都是用设计模式中观察者模式实现。 Node.js单线程类似进入一个while(true)的事件循环，直到没有事件观察者之后就退出，每个异步事件都产生一个事件观察者，如果有事件发生就调用该回调函数。 Node.js使用 事件驱动模型 ，当web server接受到请求，就把开启相应的API进行处理，然后去服务下一个web请求。 当这个请求完成，它被放回处理队列，当到达队列的开头，这个结果被返回给用户。 因为web server一直接受请求而不等待任何读写操作，因此称为非阻塞IO或事件驱动IO。 在Node应用中，很多API继承自EventEmitter， 具有许多可以异步执行的函数

前言 Node使得异步编程首次出现在业务层面,它借助异步I/O模型和V8高性能引擎(事件循环机制)，突破单线程的性能瓶颈，让JavaScript在后端达到了实用价值。由于这种异步编程的出现，对于node，也会出现一些难点。 难点1 异常处理 说到异常捕获，相信大家都会想到try/catch/final，但是对于异步编程这种方式并不适用。 伪代码如下： try{ async(callback); }catch(e){ } 假设async是一个异步方法，调用async方法后，就会产生一个事件，事件（callback）会被放入该有的队列中，到了下一次事件循环（Tick），会却从队列中取出，把回调的内容传递给异步函数。因为这种情况，对异步方法进行try/catch操作只能捕获当次事件循环内的异常，对callback执行回调时候抛出的异常是无能为力的。 由于这种异常捕获的难点，Node在处理异常上形成了一种约定，将异常作为回调函数第一个实参传回，如果为空值，则表明异步调用没有异常抛出。 异步方法调用例子 async(function(err,result){ //TOO }) 我们在代码编写过程中，自己编写的异步方法，也要遵循这样一些规则。 必须执行调用者传入的回调函数 正确传递回异常共调用者判断 异步方法代码例子如下 var async=function(callback){

目录 高性能网络通讯原理 前言 I/O访问 I/O模型 同步阻塞 select模型/poll模型 epoll模型 异步I/O模型 I/O线程模型 Reactor模型 Proactor模型 总结 参考文档 高性能网络通讯原理 前言 本来想对netty的源码进行学习和探究，但是在写netty之前许多底层的知识和原理性的东西理解清楚，那么对学习网络通讯框架的效果则会事半功倍。 本篇主要探讨高性能网络通讯框架的一些必要知识和底层操作系统相关的原理。在探讨如何做之前，我们先讨论下为什么要做。 随着互联网的高速发展，用户量呈指数形式递增，从原来的PC普及到现在的移动设备普及。用户量都是千万甚至亿为单位计算，尤其是实时通讯软件，在线实时互动的应用出现，在线用户数从原来的几十上百到后来的上万甚至上千万。单台服务的性能瓶颈和网络通讯瓶颈慢慢呈现。应用架构从单应用到应用数据分离，再到分布式集群高可用架构。单台服务的性能不足可以通过构建服务集群的方式水平扩展，应用性能瓶颈被很好的解决。但是横向扩展带来了直接的经济成本。 一个高性能的网络通讯框架从硬件设备到操作系统内核以及用户模式都需要精心设计。从底层的I/O访问，到操作系统内核的I/O模型，线程调度以及用户框架都需要精心设计，只要有任何地方有疏漏都会出现短板效应。 I/O访问 当我们在读取socket数据时，虽然我们在代码仅仅是调用了一个 Read

知识需要不断积累、总结和沉淀，思考和写作是成长的催化剂 梯子 一、任务Task 1、启动任务 2、阻塞延续 3、任务层次结构 4、枚举参数 5、任务取消 6、任务结果 7、异常 二、并行Parallel 1、Parallel.For()、Parallel.ForEach() 2、Parallel.For 3、Parallel.Invoke() 4、PLinq 三、异步等待AsyncAwait 1、简单使用 2、优雅 3、最后 一、任务Task System.Threading.Tasks在.NET4引入，前面线程的API太多了，控制不方便，而ThreadPool控制能力又太弱，比如做线程的延续、阻塞、取消、超时等功能不太方便，所以Task就 抽象了线程功能，在后台使用ThreadPool 1、启动任务 可以使用TaskFactory类或Task类的构造函数和Start()方法，委托可以提供带有一个Object类型的输入参数，所以可以给任务传递任意数据 TaskFactory taskFactory = new TaskFactory();taskFactory.StartNew(() => { Console.WriteLine($"tid={Thread.CurrentThread.ManagedThreadId},datetime={DateTime.Now}");})

异步任务 异步任务是web开发中一个很常见的方法。对于一些耗时耗资源的操作，往往从主应用中 隔离，通过异步的方式执行。简而言之，做一个注册的功能，在用户使用邮箱注册成功之 后，需要给该邮箱发送一封激活邮件。如果直接放在应用中，则调用发邮件的过程会遇到 网络IO的阻塞，比好优雅的方式则是使用异步任务，应用在业务逻辑中触发一个异步任务。 Celery是一个异步任务的调度工具。它是Python写的库，但是它实现的通讯协议也可以 使用ruby，php，javascript等调用。异步任务除了消息队列的后台执行的方式，还是 一种则是跟进时间的计划任务。下面将会介绍如何使用celery实现这两种需求。 Celery broker 和 backend 开始了解celery的时 大专栏 初识celery 候一定会有redis、rabbitmq这样的词儿，必然会一头雾水，然而 这正是celery设计的玄妙之处，简单来说，rabbitmq是一个采用Erlang写的强大的消 息队列工具。在celery中可以扮演broker的角色。那么broker究竟是什么鬼呢？ broker是一个消息传输的中间件，可以理解为一个邮箱。每当应用程序调用celery的异 步任务的时候，会向broker传递消息，而后celery的worker将会取到消息，进行对应的 程序执行。那么，这个邮箱可以看成是一个消息队列

JS在浏览器运行情况： JS是单线程，是单线程，是单线程 通过以上场景描述,知道JS为什么被设计成单线程应该就容易理解了吧。 JS异步骚操作 场景描述: 如果JS中不存在异步,只能自上而下执行,如果上一行解析时间很长,那么下面的代码就会被阻塞。 对于用户而言,阻塞就意味着”卡死”,这样就导致了很差的用户体验 既然JS是单线程的,只能在一条线程上执行,又是如何实现的异步呢? 是通过的事件循环(event loop)实现异步，理解了event loop机制,就理解了JS的执行机制 JS中的event loop 观察以下代码的执行顺序 1234567 console.log(1)setTimeout(function(){ console.log(2)},0)console.log(3) 运行结果是: 1 3 2 也就是说,setTimeout里的函数并没有立即执行,而是延迟了一段时间,满足一定条件后,才去执行的,这类代码,我们叫异步代码。 所以,这里我们首先知道了JS里的一种分类方式,就是将任务分为: 同步任务和异步任务 按照这种分类方式:JS的执行机制是 首先判断JS是同步还是异步,同步就进入主进程,异步就进入event table 异步任务在event table中注册函数,当满足触发条件后,被推入event queue 同步任务进入主线程后一直执行,直到主线程空闲时

目录 一、I/O模型介绍 二、阻塞I/O模型 2.1 一个简单的解决方案 2.2 该方案的问题 2.3 改进方案 2.4 改进后方案的问题 三、非阻塞式I/O模型 3.1 非阻塞I/O实例 四、I/O多路复用模型 4.1 select/poll模型 4.2 epoll模型(了解) 五、信号驱动I/O模型（了解） 六、异步I/O模型 七、I/O模型比较分析 一、I/O模型介绍 为了更好地了解I/O模型，我们需要事先回顾下： 同步、异步、阻塞、非阻塞 同步（synchronous） I/O和异步（asynchronous） I/O，阻塞（blocking） I/O和非阻塞（non-blocking）I/O分别是什么，到底有什么区别？这个问题其实不同的人给出的答案都可能不同，比如wiki，就认为asynchronous I/O和non-blocking I/O是一个东西。这其实是因为不同的人的知识背景不同，并且在讨论这个问题的时候上下文(context)也不相同。所以，为了更好的回答这个问题，我先限定一下本文的上下文。 本文讨论的背景是Linux环境下的network I/O。本文最重要的参考文献是Richard Stevens的“UNIX® Network Programming Volume 1, Third EditI/On: The Sockets Networking ”，6