Reactor

Gateway 简介 是什么？ Spring Cloud 全家桶中有个很重要的组件：网关。在 1.x 版本中使用的是 Zuul 网关，但是到了 2.x，由于Zuul的升级不断跳票，Spring Cloud 自己研发了一套网关组件：Spring Cloud Gateway。 Spring Cloud Gateway基于 Spring Boot 2.x，Spring WebFlux 和 Project Reactor 构建，使用了 Webflux 中的 reactor-netty 响应式编程组件，底层使用了 Netty 通讯框架。 详见： 官网 能干嘛？ 反向代理 鉴权 流量控制 熔断 日志监控 ...... 网关在微服务架构中的位置 Gateway 的三大概念 Route（路由） ：路由是构建网关的基本模块，它由 ID、目标 URI、一系列的断言和过滤器组成，如果断言为 true 则匹配该路由 Predicate（断言） ： 参考的是 Java8 中的 java.util.function.Predicate 。开发人员可以匹配 HTTP 请求中的所有内容（例如请求头或请求参数），如果请求与断言相匹配则进行路由 Filter（过滤） ：指的是 Spring 框架中 GatewayFilter 的实例，使用过滤器，可以在请求被路由之前或之后对请求进行修改 工作流程 Clients

传统同步阻塞I/O（BIO） 在NIO之前编写服务器使用的是同步阻塞I/O（Blocking I/O）。下面是一个典型的线程池客服端服务器示例代码，这段代码在连接数急剧上升的情况下，这个服务器代码就会不好使了，因为serverSocket.accept()，以及IO的read()，write()方法都是同步阻塞的，虽然通过线程池，避免频繁创建线程开销，但是该系统过于依赖线程，一个是线程的创建和销毁很耗时，再者线程的切换开销很大，尤其是在高并发的情况下系统压力不堪设想。 BIO线程池客服端服务器示例代码 /** * BIO服务器 * @author monkjavaer * @date 2019/7/17 13:55 */ public class BioServer { public static final int PORT = 8888; public static void main(String[] args) { ServerSocket serverSocket = null; try { serverSocket = new ServerSocket(PORT); Socket socket = null; ThreadFactory namedThreadFactory = new ThreadFactory() { @Override public Thread

转自https://blog.csdn.net/baiye_xing/article/details/76735113 1.BIO、NIO和AIO的区别？ BIO：一个连接一个线程，客户端有连接请求时服务器端就需要启动一个线程进行处理。线程开销大。 伪异步IO：将请求连接放入线程池，一对多，但线程还是很宝贵的资源。 NIO：一个请求一个线程，但客户端发送的连接请求都会注册到多路复用器上，多路复用器轮询到连接有I/O请求时才启动一个线程进行处理。 AIO：一个有效请求一个线程，客户端的I/O请求都是由OS先完成了再通知服务器应用去启动线程进行处理， BIO是面向流的，NIO是面向缓冲区的；BIO的各种流是阻塞的。而NIO是非阻塞的；BIO的Stream是单向的，而NIO的channel是双向的。 NIO的特点：事件驱动模型、单线程处理多任务、非阻塞I/O，I/O读写不再阻塞，而是返回0、基于block的传输比基于流的传输更高效、更高级的IO函数zero-copy、IO多路复用大大提高了Java网络应用的可伸缩性和实用性。基于Reactor线程模型。 在Reactor模式中，事件分发器等待某个事件或者可应用或个操作的状态发生，事件分发器就把这个事件传给事先注册的事件处理函数或者回调函数，由后者来做实际的读写操作。如在Reactor中实现读：注册读就绪事件和相应的事件处理器

Windows 10家庭中文版，Python 3.6.4，Scrapy 1.5.0， 在创建了爬虫程序后，就可以运行爬虫程序了。Scrapy中介绍了几种运行爬虫程序的方式，列举如下： -命令行工具之scrapy runspider（全局命令） -命令行工具之scrapy crawl（项目级命令） -scrapy.crawler.CrawlerProcess -scrapy.crawler.CrawlerRunner 注意 ，当系统中同时存在Python 2、Python 3时，孤的电脑直接执行scrapy命令使用的是Python 2，此时，需要在scrapy命令前添加“python3 -m”才可以使用Python 3，因此，请使用virtualenv建立虚拟环境运行scrapy等各种程序。 方式一：scrapy runspider命令（全局） 语法： scrapy runspider <spider_file.py> 还有一些配置项，可以使用scrapy runspider -h查看。 示例程序：文件名为baidu_com.py 1 # -*- coding: utf-8 -*- 2 import scrapy 3 4 class BaiduComSpider(scrapy.Spider): 5 name = ' baidu.com ' 6 allowed_domains = [

Reactor模型 Netty中的Reactor模型主要由多路复用器(Acceptor)、事件分发器(Dispatcher)、事件处理器(Handler)组成，可以分为三种。 常见的Reactor线程模型有三种，分别如下： Reactor单线程模型 Reactor多线程模型 主从Reactor多线程模型 Reactor 模式可以参考： Reactor模式详解＋源码实现 1、单线程模型 所有I/O操作都由一个线程完成，即多路复用、事件分发和处理都是在一个Reactor线程上完成的，一个 Reactor 线程就是一个 NIO 线程。 Reactor 单线程模型使用的是一个 NIO 线程， NIO 使用的是非阻塞 I/O，所有的 I/O 操作都不会阻塞，所以一个线程可以处理多个 TCP 连接请求。 对于一些小容量应用场景，可以使用单线程模型，但是对于高负载、大并发的应用却不合适，主要原因如下： 一个NIO线程同时处理成百上千的链路，性能上无法支撑。即便NIO线程的CPU负荷达到100%，也无法满足海量消息的编码、解码、读取和发送； 当NIO线程负载过重之后，处理速度将变慢，这会导致大量客户端连接超时，超时之后往往进行重发，这更加重了NIO线程的负载，最终导致大量消息积压和处理超时，NIO线程会成为系统的性能瓶颈； 可靠性问题。一旦NIO线程意外跑飞，或者进入死循环

本篇文章主要从源码的角度揭秘Spring Cloud Gateway的加载和怎么处理请求流程。 1.Spring Gateway概述 SpringCloudGateway是Spring官方基于Spring 5.0，Spring Boot 2.0和Project Reactor等技术开发的网关，Spring Cloud Gateway旨在为微服务架构提供一种简单而有效的统一的API路由管理方式。Spring Cloud Gateway作为Spring Cloud生态系中的网关，目标是替代Netflix ZUUL，其不仅提供统一的路由方式，并且基于Filter链的方式提供了网关基本的功能，例如：安全，监控/埋点，和限流等。 2.容器启动过程的简单加载分析 加载的流程主要是spring容器为主，需要大家熟悉spring框架，这里不做过多的分析了。 Spring Cloud Gateway自动装配类在 org.springframework.cloud.gateway.config 包下，我们可以看到四个配置类 ： GatewayAutoConfiguration GatewayClassPathWarningAutoConfiguration GatewayLoadBalancerClientAutoConfiguration GatewayRedisAutoConfiguration

Spring Boot 2.0 spring.io 官网有句醒目的话是： BUILD ANYTHING WITH SPRING BOOT 复制代码 Spring Boot （Boot 顾名思义，是引导的意思）框架是用于简化 Spring 应用从搭建到开发的过程。应用开箱即用，只要通过一个指令，包括命令行 java -jar 、 SpringApplication 应用启动类 、 Spring Boot Maven 插件等，就可以启动应用了。另外，Spring Boot 强调只需要很少的配置文件，所以在开发生产级 Spring 应用中，让开发变得更加高效和简易。目前，Spring Boot 版本是 2.x 版本。Spring Boot 包括 WebFlux。 Spring Boot 2.0 WebFlux 了解 WebFlux ,首先了解下什么是 Reactive Streams。Reactive Streams 是 JVM 中面向流的库标准和规范： 处理可能无限数量的元素 按顺序处理 组件之间异步传递 强制性非阻塞背压（Backpressure） Backpressure(背压) 背压是一种常用策略，使得发布者拥有无限制的缓冲区存储元素，用于确保发布者发布元素太快时，不会去压制订阅者。 Reactive Streams（响应式流） 一般由以下组成： 发布者：发布元素到订阅者 订阅者

什么是Reactor Netty？ 在开始之前，让我们看一下Reactor Netty是什么以及它与Spring Boot的关系。 Reactor Netty是一个异步事件驱动的网络应用程序框架。它提供非阻塞和背压就绪的TCP，HTTP和UDP客户端和服务器。顾名思义，它基于Netty框架。 现在，让我们看看Spring和Spring Boot的位置。 Spring WebFlux 是Spring框架的一部分，为Web应用程序提供反应式编程支持。如果我们在Spring Boot应用程序中使用WebFlux，Spring Boot会 自动将 Reactor Netty 配置为默认服务器。除此之外，我们可以明确地将Reactor Netty添加到我们的项目中，Spring Boot应该再次自动配置它。 现在，我们将构建一个应用程序来了解如何自定义我们自动配置的Reactor Netty服务器。之后，我们将介绍一些常见的配置方案。 首先，我们将添加所需的Maven依赖项。 要使用Reactor Netty服务器，我们将在我们的pom文件中添加 spring-boot-starter-webflux 作为依赖项： <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter

Reactor模式是以状态的改变进行不同信息处理的过程。 怎么处理的哪？ 首先会绑定个初始状态； 然后随着业务的处理会处于其他不同的状态中进行迁徙； 任务处理的过程会遍历所有的状态然后进行处理； Reactor模式详解＋源码实现 来源： oschina 链接： https://my.oschina.net/findurl/blog/3335304

Spring Cloud Gateway介绍 　　Spring Cloud Gateway是Spring Cloud的一个全新项目，基于Spring 5，Spring Boot 2和 Project Reactor等技术开发的网关，它旨在为微服务框架提供一种简单有效的统一的API路由管理方式，以及提供一些强大的过滤功能，例如：熔断、限流、重试等 　　Spring Cloud Gateway作为spring Cloud 生态系统中的网关，目标是替代Zuul，在Spring Cloud 2.0以上版本中，没有对新版本Zuul 2.0以上最新高性能版本进行集成，仍然还是Zuul 1.x非Reactor模式的老版本，而为了提升网关的性能，Spring Cloud Gateway是基于WebFlux框架实现的，而WebFlux框架底层则使用了高性能的Reactor模式通信框架Netty。 　　Spring Cloud Gateway功能： 　　1、基于Spring Framework 5，Project Reactor和Spring Boot 2.0构建 　　2、能够匹配任何请求属性上的路由。 　　3、预言和过滤器特定于路由。 　　4、Hystrix断路器集成。 　　5、Spring Cloud DiscoveryClient集成 　　6、易于编写的预言和过滤器 　　7、请求速率限制 　　8