异步队列

前言 一般地,I/O多路复用机制都依赖于一个事件多路分离器(Event Demultiplexer)。分离器对象可将来自事件源的I/O事件分离出来，并分发到对应的read/write事件处理器(Event Handler)。开发人员预先注册需要处理的事件及其事件处理器（或回调函数）；事件分离器负责将请求事件传递给事件处理器。两个与事件分离器有关的模式是Reactor和Proactor。Reactor模式采用同步IO，而Proactor采用异步IO。 在Reactor中，事件分离器负责等待文件描述符或socket为读写操作准备就绪，然后将就绪事件传递给对应的处理器，最后由处理器负责完成实际的读写工作。 在Proactor模式中，处理器--或者兼任处理器的事件分离器，只负责发起异步读写操作。IO操作本身由操作系统来完成。传递给操作系统的参数需要包括用户定义的数据缓冲区地址 和 数据大小，操作系统才能从中得到写出操作所需数据，或写入从socket读到的数据。事件分离器捕获IO操作完成事件，然后将事件传递给对应处理器。 比如，在windows上，处理器发起一个异步IO操作，再由事件分离器等待IOCompletion事件。典型的异步模式实现，都建立在操作系统支持异步API的基础之上，我们将这种实现称为“系统级”异步或“真”异步，因为应用程序完全依赖操作系统执行真正的IO工作。 解释

目录 1.UDP协议 2.并发编程 1.UDP协议 -称之为：数据包协议 ​ 特点： ​ 1.不需要建立链接 ​ 2.不需要知道对方是否收到 ​ 3.数据不安全 ​ 4.传输速度快 ​ 5.能支持并发 ​ 6.不会粘包 优点： ​ -传输速度快 ​ -能支持并发 ​ -不会粘包 ​ 缺点： ​ -数据不安全，容易丢失 ​ 应用场景： ​ 早期的qq聊天室： 下面的这个例子，可以先开server或者 client 都是可以的 这个是server的服务端 import socket # socket.SOCK_DGRAM ---->UPD协议 server = socket.socket(type = socket.SOCK_DGRAM) #服务端需要绑定一个地址，让别人知道你在哪里 server.bind( ('127.0.0.1',9002) ) while True: data,addr = server.recvfrom(1024) print(addr) print(data.decode('utf-8')) >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 这个是client 客户端 import socket client = socket.socket(type=socket.SOCK_DGRAM) address = ('127.0

知识需要不断积累、总结和沉淀，思考和写作是成长的催化剂 梯子 一、锁 1、lock 2、Interlocked 3、Monitor 4、SpinLock 5、Mutex 6、Semaphore 7、Events 1、AutoResetEvent 2、ManualResetEvent 3、ManualResetEventSlim 8、ReaderWriterLock 二、线程安全集合 三、多线程模型 1、同步编程模型SPM 2、异步编程模型APM 3、基于事件编程模型EAP 4、基于任务编程模型TAP 四、End 一、锁 数据库中也有锁概念，行锁，表锁，事物锁等，锁的作用就是 控制并发情况下数据的安全一致 ，使一个数据被操作时，其他并发线程等待。开发方面多线程并行编程访问共享数据时，为保证数据的一致安全，有时需要使用锁来锁定对象来达到同步 .NET中提供很多线程同步技术。有lock，Interlocked，Monitor等用于进程内同步锁，Mutex互斥锁，Semaphore信号量，Events，ReaderWriterLockSlim读写锁等用于多个进程间的线程同步 1、lock lock语句是设置对锁定和解除锁定的一种简单方式，也是最常用的一种同步方式。lock用于锁定一个 引用类型字段 ，当线程执行到Lock处，会锁定该字段，使之只有一个线程进入lock语句块内

　　celery中文译为芹菜,是一个分布式任务队列. 是异步的,所以能处理大量消息 　　最新的celery不支持windows下使用了,所以在使用pycharm安装celery模块之后,需要再安装eventlet模块才能测试运行. 一.异步任务 启动客户端: s1,s2要在项目目录下,如果在文件夹中执行,terminal输入命令的时候要-A 项目文件夹的名字 c=Celery( " task " ,broker= " redis://127.0.0.1:6379/2 " ,backend= " redis://127.0.0.1:6379/1 ", include="项目名.文件夹" ) Terminal中输入 celery worker -A s1 -l info -P eventlet 　　给定两个文件 　　s1.py from celery import Celery import time c =Celery( " task " ,broker= " redis://127.0.0.1:6379/2 " ,backend= " redis://127.0.0.1:6379/1 " ) @c.task def myfun1(a,b): return f " myfun1{a}{b} " @c.task def myfun2(): return " myfun2 " @c

udp协议与进程 一、udp协议 QQ聊天室 #- sever import socket #socket.SOCK_DGRAM--->UPD协议 sever = socket.socket(type=socket.SOCK_DGRAM) #服务端需要绑定一个地址，让别人知道你在哪里 sever.bind( ('127.0.0.1', 9002) ) while True: #发送数据给服务端的用户地址 data, addr = sever.recvfrom(1024) print(addr) print(data.decode('utf-8')) #- client import socket client = socket.socket(type=socket.SOCK_DGRAM) address = ('127.0.0.1', 9002) while True: msg = input('client---->sever:').strip().encode('utf-8') client.sendto(msg, address) ('127.0.0.1', 57697) 热巴 ('127.0.0.1', 59959) 热巴真美啊 ('127.0.0.1', 59960) 热巴亚峰啊 二、理论知识 必备知识 1、udp协议（了解） 称之为数据包协议 特点： 1）

什么是消息队列 消息队列（Message Queue，简称MQ），指保存消息的一个容器，本质是个队列。 消息（Message）是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。 消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠专递，消息发布者只管把消息发布到MQ中而不管谁来取，消息使用者只管从MQ中取消息而不管谁发布的，这样发布者和使用者都不用知道对方的存在。 Producer：消息生产者，负责产生和发送消息到 Broker； Broker：消息处理中心。负责消息存储、确认、重试等，一般其中会包含多个 queue； Consumer：消息消费者，负责从 Broker 中获取消息，并进行相应处理； 现在常用的MQ组件有ActiveMQ、RabbitMQ、RocketMQ、ZeroMQ,当然近年来火热的Kafka,从某些场景来说，也是MQ，当然kafka的功能更加强大。 虽然不同的MQ都有自己的特点和优势，但是，不管是哪种MQ，都有MQ本身自带的一些特点，下面，咱们谈谈消息队列的的特点、优势、选型、以及应用场景。 为什么需要消息队列 在高并发分布式环境下，由于来不及同步处理，通过使用消息队列，可以异步处理请求，从而缓解系统的压力。 举一个订单系统的例子：用户点击下订单

什么是消息队列 消息队列（Message Queue，简称MQ），指保存消息的一个容器，本质是个队列。 消息（Message）是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。 消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠专递，消息发布者只管把消息发布到MQ中而不管谁来取，消息使用者只管从MQ中取消息而不管谁发布的，这样发布者和使用者都不用知道对方的存在。 Producer：消息生产者，负责产生和发送消息到 Broker； Broker：消息处理中心。负责消息存储、确认、重试等，一般其中会包含多个 queue； Consumer：消息消费者，负责从 Broker 中获取消息，并进行相应处理； 现在常用的MQ组件有ActiveMQ、RabbitMQ、RocketMQ、ZeroMQ,当然近年来火热的Kafka,从某些场景来说，也是MQ，当然kafka的功能更加强大。 虽然不同的MQ都有自己的特点和优势，但是，不管是哪种MQ，都有MQ本身自带的一些特点，下面，咱们谈谈消息队列的的特点、优势、选型、以及应用场景。 为什么需要消息队列 在高并发分布式环境下，由于来不及同步处理，通过使用消息队列，可以异步处理请求，从而缓解系统的压力。 举一个订单系统的例子：用户点击下订单

什么是消息队列 消息队列（Message Queue，简称MQ），指保存消息的一个容器，本质是个队列。 消息（Message）是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。 消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠专递，消息发布者只管把消息发布到MQ中而不管谁来取，消息使用者只管从MQ中取消息而不管谁发布的，这样发布者和使用者都不用知道对方的存在。 Producer：消息生产者，负责产生和发送消息到 Broker； Broker：消息处理中心。负责消息存储、确认、重试等，一般其中会包含多个 queue； Consumer：消息消费者，负责从 Broker 中获取消息，并进行相应处理； 现在常用的MQ组件有ActiveMQ、RabbitMQ、RocketMQ、ZeroMQ,当然近年来火热的Kafka,从某些场景来说，也是MQ，当然kafka的功能更加强大。 虽然不同的MQ都有自己的特点和优势，但是，不管是哪种MQ，都有MQ本身自带的一些特点，下面，咱们谈谈消息队列的的特点、优势、选型、以及应用场景。 为什么需要消息队列 在高并发分布式环境下，由于来不及同步处理，通过使用消息队列，可以异步处理请求，从而缓解系统的压力。 举一个订单系统的例子：用户点击下订单

基于Task的异步 编程 模式（TAP）是Microsoft为.Net平台下使用Task进行编程所提供的一组建议，这种模式提供了可以被await消耗（调用）方法的APIs，并且当使用async关键字编写遵守这种模式的方法时，手写Task通常很有用。通常TAP用起来与普通方式没什么两样，但是不支持ref和out参数。 任务和线程的区别： 1、任务是架构在线程之上的，也就是说任务最终还是要抛给线程去执行。 2、任务跟线程不是一对一的关系，比如开10个任务并不是说会开10个线程，这一点任务有点类似线程池，但是任务相比线程池有很小的开销和精确的控制。 3、Task的优势 　　ThreadPool相比Thread来说具备了很多优势，但是ThreadPool却又存在一些使用上的不方便。比如： 　　◆ ThreadPool不支持线程的取消、完成、失败通知等交互性操作； 　　◆ ThreadPool不支持线程执行的先后次序； 以往，如果开发者要实现上述功能，需要完成很多额外的工作，现在，微软提供了一个功能更强大的概念：Task。Task在线程池的基础上进行了优化，并提供了更多的API。 下面分析一理异步编程中的一些关键点 1.await 我们都知道await关键字是.Net FrameWork4.5引入的特性。await使得我们使用异步更加时特别便捷，并且还 不会导致线程堵塞

1.浏览器的主要构成部分 1.用户界面 2.浏览器引擎(负责窗口管理、Tab进程管理等) 3.渲染引擎(有叫内核，负责HTML解析、页面渲染) 4.JS引擎(JS解释器，如Chrome和Nodejs采用的V8) 这里面最核心的就是渲染引擎和JS引擎，后面会详细介绍这两个引擎的相关内容。 常见浏览器的渲染引擎和JS引擎如下： 注：新版本的Chrome采用的渲染引擎是Blink，Blink是由谷歌团队从Webkit衍生开发出来的引擎，主要有应用到Chrome和Opera浏览器。 2.从进程和线程的角度来理解浏览器工作 1）进程和线程 进程是cpu资源分配的最小单位（是能拥有资源和独立运行的最小单位） 线程是cpu调度的最小单位（线程是建立在进程的基础上的一个程序运行单位，一个进程中可以有多个线程） 进程可以类比为工厂，线程就是工厂里面的工人，一个工厂可以包含一个或者多个工人，工人之间可以相互协作，并且共享工作空间 2）浏览器的多进程架构 现代的浏览器采用的都是多进程架构，主要包含以下三种进程： 1.Browser进程 浏览器的主线程，主要负责浏览器的页面管理、书签、前进后退、资源下载管理等，整个浏览器应用程序只有一个，对应上述浏览器组成中的浏览器引擎。 2.渲染进程 内核进程、负责页面渲染、JS执行，对应的是上述的渲染引擎和JS引擎，一个浏览器可以包含多个渲染进程