异步队列

目录 Gevent gevent基础之阻塞，非阻塞 同步，异步概念 同步异步与阻塞，非阻塞区别 Queue python内置Queue介绍 Gevent gevent基础之阻塞，非阻塞 1.gevent中一个很大的改进就是将阻塞IO改为非阻塞IO； 阻塞调用是指调用结果返回之前，当前线程会被挂起。函数只有在得到结果之后才会返回 非阻塞指在不能立刻得到结果之前，该函数不会阻塞当前线程，而会立刻返回 同步，异步概念 1.同步就是发生调用时，一定等待结果返回，整个调用才结束； 2.异步就是发生调用后，立即返回，不等待结果返回。被调用者通过状态、通知来通知调用者，或通过回调函数处理这个调用。 同步异步与阻塞，非阻塞区别 1.阻塞/非阻塞, 它们是程序在等待消息(无所谓同步或者异步)时的状态； 2.同步/异步，是程序获得关注消息通知的机制。 要实现异步的爬虫方式的话，需要用到多协程。在它的帮助下，我们能实现前面提到的“让多个爬虫替我们干活” 它的原理是：一个任务在执行过程中，如果遇到等待，就先去执行其他的任务 当等待结束，再回来继续之前的那个任务。 在计算机的世界，这种任务来回切换得非常快速，看上去就像多个任务在被同时执行一样。 这就好比当你要做一桌饭菜，你可以在等电饭煲蒸饭的时候去炒菜。而不是等饭做好，再去炒菜。你还是那个你，但工作时间就这样被缩短了。多协程能够缩短工作时间的原理，也是如此

限制的异步操作 异步的计算限制操作要用其他线程执行，比如拼写检查，语法检查，音频转码等，为了设计和实现可伸缩性的、响应灵敏和可靠的应用程序和组件，线程池在多个CPU内核上调度任务，使多个线程能并发工作，从而高效率地使用系统资源，同时提升应用程序的吞吐能力。 理解脑图中线程的异步操作能力，不外乎与计算机处于缜密计算与I/O操作，使用线程池，最大效率的使用计算机资源，并行处理能力。同时避免用户模式与内核模式的上下文切换带来的性能损失，从而导致大量线程处于闲置等待，而浪费系统资源。 掌握线程池的用途、开销之外，最重要的还是以线程池管理，才能更好的控制不可预测的错误，并加以治之。 线程池管理 要想合理地配置线程池，就必须首先分析任务特性，可以从以下几个角度来分析。 任务的性质：CPU密集型任务、IO密集型任务和混合型任务。 任务的优先级：高、中和低。 任务的执行时间：长、中和短。 任务的依赖性：是否依赖其他系统资源，如数据库连接。 性质不同的任务可以用不同规模的线程池分开处理。 CPU密集型任务应配置尽可能小的线程，如配置Ncpu+1个线程的线程池。由于IO密集型任务线程并不是一直在执行任务，则应配置尽可能多的线程，如2*N cpu。混合型的任务，如果可以拆分，将其拆分成一个CPU密集型任务 和一个IO密集型任务，只要这两个任务执行的时间相差不是太大

微博 Demo 性能优化技巧 我为了演示 YYKit 的功能，实现了微博和 Twitter 的 Demo，并为它们做了不少性能优化，下面就是优化时用到的一些技巧。 预排版 当获取到 API JSON 数据后，我会把每条 Cell 需要的数据都在后台线程计算并封装为一个布局对象 CellLayout。CellLayout 包含所有文本的 CoreText 排版结果、Cell 内部每个控件的高度、Cell 的整体高度。每个 CellLayout 的内存占用并不多，所以当生成后，可以全部缓存到内存，以供稍后使用。这样，TableView 在请求各个高度函数时，不会消耗任何多余计算量；当把 CellLayout 设置到 Cell 内部时，Cell 内部也不用再计算布局了。 对于通常的 TableView 来说，提前在后台计算好布局结果是非常重要的一个性能优化点。为了达到最高性能，你可能需要牺牲一些开发速度，不要用 Autolayout 等技术，少用 UILabel 等文本控件。但如果你对性能的要求并不那么高，可以尝试用 TableView 的预估高度的功能，并把每个 Cell 高度缓存下来。这里有个来自百度知道团队的开源项目可以很方便的帮你实现这一点：FDTemplateLayoutCell。 预渲染 微博的头像在某次改版中换成了圆形，所以我也跟进了一下。当头像下载下来后

RabbitMQ 即一个消息队列，主要是用来实现应用程序的异步和解耦，同时也能起到消息缓冲，消息分发的作用。 ①.通过异步处理提高系统性能 image.jpeg 通过异步处理提高系统性能 如上图，在不使用消息队列服务器的时候，用户的请求数据直接写入数据库，在高并发的情况下数据库压力剧增，使得响应速度变慢。但是在使用消息队列之后，用户的请求数据发送给消息队列之后立即 返回，再由消息队列的消费者进程从消息队列中获取数据，异步写入数据库。由于消息队列服务器处理速度快于数据库（消息队列也比数据库有更好的伸缩性），因此响应速度得到大幅改善。 通过以上分析我们可以得出消息队列具有很好的削峰作用的功能——即通过异步处理，将短时间高并发产生的事务消息存储在消息队列中，从而削平高峰期的并发事务。 举例：在电子商务一些秒杀、促销活动中，合理使用消息队列可以有效抵御促销活动刚开始大量订单涌入对系统的冲击。如下图所示： image.jpeg | 合理使用消息队列可以有效抵御促销活动刚开始大量订单涌入对系统的冲击 因为用户请求数据写入消息队列之后就立即返回给用户了，但是请求数据在后续的业务校验、写数据库等操作中可能失败。因此使用消息队列进行异步处理之后，需要适当修改业务流程进行配合，比如用户在提交订单之后，订单数据写入消息队列，不能立即返回用户订单提交成功，需要在消息队列的订单消费者进程真正处理完该订单之后

为什么要用异步？ 由于js是单线程的。只能在js引擎的主线程上运行。所以js代码只能一行一行执行 。不能同一时间执行多个js代码任务。这导致如果有一段耗时长的计算活着ajax请求。 如果没有异步，就会产生用户等待时间长。这个时候由于任务没有完成，用户其他操作 都会没有响应 常见的异步模式 回调函数 事件监听 promise 。。。 js如何实现异步 js的事件循环机制 js解析的时候。会被引擎分为两大类任务，同步任务与异步任务 同步任务：被推到执行栈按顺序执行 异步任务：当其可以被执行时，会被放到任务队列，等待执行 当执行栈中所有同步执行完，js引擎就会到任务列表查看是否有任务存在，并将任务放在 执行栈执行，执行完又去任务列表检查是否有可执行任务。这种循环检查机制被称为事件循环机制。 Promise Promise 是抽象异步处理对象以及对其进行各种操作的对象 简而言之，让异步变得好看 promise 是一个类 循环里处理异步 来源： https://www.cnblogs.com/-constructor/p/11881538.html

前言 最近项目中出现了一个问题，发现自己的定时器任务在线上没有执行，但是在线下测试时却能执行，最后谷歌到了这篇文章 SpringBoot踩坑日记-定时任务不定时了？ ; 本篇文章主要以自己在项目中遇到的问题为背景，并不涉及源码； Scheduled 定时任务 Scheduled 注解的具体使用方法自行百度或谷歌，这里只是使用其中的一种方式； 验证Scheduled为单线程执行 测试代码 @Component public class TestScheduling { private static final Logger log= LoggerFactory.getLogger(TestScheduling.class); @Scheduled(initialDelay = 1000 * 60, fixedDelay = 1000 * 30) public void testOne() { //打印线程名字 log.info("ThreadName:====one====" + Thread.currentThread().getName()); } @Scheduled(initialDelay = 1000 * 60, fixedDelay = 1000 * 30) public void testTwo(){ //打印线程名字 log.info("ThreadName:===

JavaScript经常声称是_异步_。那是什么意思？它如何影响发展？近年来这种方法有何变化？ 请思考以下代码： result1 = doSomething1(); result2 = doSomething2(result1); 大多数语言都处理每一行同步。第一行运行并返回结果。第二行在第一行完成后运行无论需要多长时间。 单线程处理 JavaScript在单个处理线程上运行。在浏览器选项卡中执行时，其他所有内容都会停止，因为在并行线程上不会发生对页面DOM的更改;将一个线程重定向到另一个URL而另一个线程尝试追加子节点是危险的。 这对用户来说是显而易见。例如，JavaScript检测到按钮单击，运行计算并更新DOM。完成后，浏览器可以自由处理队列中的下一个项目。 （旁注：其他语言如PHP也使用单个线程，但可以由多线程服务器（如Apache）管理。同时对同一个PHP运行时页面的两个请求可以启动两个运行隔离的实例的线程。） 使用回调进行异步 单线程引发了一个问题。当JavaScript调用“慢”进程（例如浏览器中的Ajax请求或服务器上的数据库操作）时会发生什么？这个操作可能需要几秒钟 - 甚至几分钟。浏览器在等待响应时会被锁定。在服务器上，Node.js应用程序将无法进一步处理用户请求。 解决方案是异步处理。而不是等待完成，一个进程被告知在结果准备好时调用另一个函数

消息队列 本文内容思维导图： 消息队列总结 一 什么是消息队列 我们可以把消息队列比作是一个存放消息的容器，当我们需要使用消息的时候可以取出消息供自己使用。消息队列是分布式系统中重要的组件，使用消息队列主要是为了通过异步处理提高系统性能和削峰、降低系统耦合性。目前使用较多的消息队列有ActiveMQ，RabbitMQ，Kafka，RocketMQ，我们后面会一一对比这些消息队列。 另外，我们知道队列 Queue 是一种先进先出的数据结构，所以消费消息时也是按照顺序来消费的。比如生产者发送消息1,2,3...对于消费者就会按照1,2,3...的顺序来消费。但是偶尔也会出现消息被消费的顺序不对的情况，比如某个消息消费失败又或者一个 queue 多个consumer 也会导致消息被消费的顺序不对，我们一定要保证消息被消费的顺序正确。 除了上面说的消息消费顺序的问题，使用消息队列，我们还要考虑如何保证消息不被重复消费？如何保证消息的可靠性传输（如何处理消息丢失的问题）？......等等问题。所以说使用消息队列也不是十全十美的，使用它也会让系统可用性降低、复杂度提高，另外需要我们保障一致性等问题。 二 为什么要用消息队列 使用消息队列主要有两点好处： 1.通过异步处理提高系统性能（削峰、减少响应所需时间）; 2.降低系统耦合性。 (1) 通过异步处理提高系统性能（削峰、减少响应所需时间）

首先，思考多进程、多线程、协程的区别？ 其次，什么时候该用哪种模式？ 进程：一个程序在计算机里面的一次运行。 线程：进程中调度执行的最小单位。 多进程：利用多核cpu,硬件的计算能力变强了。 程序的计算要求比较高的时候。 多线程：一核cpu，硬件的计算能力变弱了。 不是强调计算能力，而是强调多io操作的时候。（什么是IO？输入，输出：从键盘接收一个东西叫输入，打印一个东西叫输出） 多个线程之间做切换，比协程的切换效率要低一些。 协程： 本质是单线程，比多线程的效率高 单线程来实现不同任务的切换，是任务本身来实现的。 多io操作。 多进程编程会比多线程编程麻烦：因为多进程之间是无法共享一个变量的，多线程之间可以共享变量（同一个进程里）的使用，比较麻烦。 什么时候该用哪种模式呢？ 计算密集型的任务时使用多进程，多核cpu计算效率更高 做多io操作的时候用线程或者协程都可以，但是对于多io来说协程的效率比多线程更高一些，不过同时协程的复杂度也比多线程更高一些 区别是什么？ 线程必须运行在进程里面，一个进程至少有一个线程。 进程是操作系统分配资源的最小单位。 一个进程中的不同线程，会共用一个进程中的资源。 并发和并行什么区别： 并发：一起执行，并不一定是在某一时刻就同时执行 并行：在同一时刻执行。 多进程、多线程、协程都是用来提升并发性的。 同步：注册和登录，必须按同步是按顺序执行

#0 系列目录# 聊聊远程通信 Java远程通讯技术及原理分析 聊聊Socket、TCP/IP、HTTP、FTP及网络编程 RMI原理及实现 RPC原理及实现 轻量级分布式 RPC 框架 使用 RMI + ZooKeeper 实现远程调用框架 深入浅出SOA思想 微服务、SOA 和 API对比与分析 聊聊同步、异步、阻塞与非阻塞 聊聊Linux 五种IO模型 聊聊IO多路复用之select、poll、epoll详解 聊聊C10K问题及解决方案 上一篇 《聊聊同步、异步、阻塞与非阻塞》 已经通俗的讲解了，要理解同步、异步、阻塞与非阻塞 重要的两个概念点 了，没有看过的，建议先看这篇博文理解这两个概念点。在认知上，建立统一的模型。这样，大家在继续看本篇时，才不会理解有偏差。 那么，在正式开始讲Linux IO模型前，比如：同步IO和异步IO，阻塞IO和非阻塞IO分别是什么，到底有什么区别？不同的人在不同的上下文下给出的答案是不同的。所以先限定一下本文的上下文。 #1 概念说明# 在进行解释之前，首先要说明几个概念： 用户空间和内核空间 进程切换 进程的阻塞 文件描述符 缓存 IO ##1.1 用户空间与内核空间## 现在操作系统都是采用虚拟存储器，那么对32位操作系统而言，它的寻址空间（虚拟存储空间）为4G（2的32次方）。 操作系统的核心是内核，独立于普通的应用程序