缓存服务器

简单来说 Redis 就是一个数据库，不过与传统数据库不同的是 Redis 的数据是存在内存中的，所以存写速度非常快，因此 Redis 被广泛应用于缓存方向。 另外， Redis 也经常用来做分布式锁。 Redis 提供了多种数据类型来支持不同的业务场景。 除此之外， Redis 支持事务 、持久化、LUA 脚本、LRU 驱动事件、多种集群方案。 本文将从以下几个方面全面解读 Redis： 为什么要用 Redis / 为什么要用缓存 为什么要用 Redis 而不用 map/guava 做缓存 Redis 和 Memcached 的区别 Redis 常见数据结构以及使用场景分析 Redis 设置过期时间 Redis 内存淘汰机制 Redis 持久化机制（怎么保证 Redis 挂掉之后再重启数据可以进行恢复） Redis 事务 缓存雪崩和缓存穿透问题解决方案 如何解决 Redis 的并发竞争 Key 问题 如何保证缓存与数据库双写时的数据一致性 为什么要用 Redis / 为什么要用缓存？ 主要从“高性能”和“高并发”这两点来看待这个问题。 高性能 假如用户第一次访问数据库中的某些数据。这个过程会比较慢，因为是从硬盘上读取的。 将该用户访问的数据存在缓存中，这样下一次再访问这些数据的时候就可以直接从缓存中获取了。 操作缓存就是直接操作内存，所以速度相当快

面试中经常会被问到这个问题吧，唉，我最开始被问到的时候也就能大概说一些流程。被问得多了，自己就想去找找这个问题的全面回答，于是乎搜了很多资料和网上的文章，根据那些文章写一个总结。 写得不好，或者有意见的直接喷，不用走流程。也欢迎大佬指点 首先这不是小问题，能把里面的过程说清楚真的很麻烦，然后下面我把这些知识点，按流程的形式总结的： 从浏览器接收url到开启网络请求线程 开启网络线程到发出一个完整的http请求 从服务器接收到请求到对应后台接收到请求 后台和前台的http交互 http的缓存问题 浏览器接收到http数据包后的解析流程 CSS的可视化格式模型 JS引擎解析过程 跨域、web安全、hybrid等等 1. 从浏览器接收url到开启网络请求线程 多进程的浏览器 浏览器是多进程的，有一个主控进程，以及每一个tab页面都会新开一个进程（某些情况下多个tab会合并进程）。 进程可能包括主控进程，插件进程，GPU，tab页（浏览器内核）等等。 Browser进程：浏览器的主进程（负责协调、主控），只有一个 第三方插件进程：每种类型的插件对应一个进程，仅当使用该插件时才创建 GPU进程：最多一个，用于3D绘制 浏览器渲染进程（内核）：默认每个Tab页面一个进程，互不影响，控制页面渲染，脚本执行，事件处理等（有时候会优化，如多个空白tab会合并成一个进程） 多线程的浏览器内核

一般来说，如果允许缓存可以稍微的跟数据库偶尔有不一致的情况，也就是说如果你的系统不是严格要求 “缓存+数据库” 必须保持一致性的话，最好不要做这个方案，即：读请求和写请求串行化，串到一个内存队列里去。 串行化可以保证一定不会出现不一致的情况，但是它也会导致系统的吞吐量大幅度降低，用比正常情况下多几倍的机器去支撑线上的一个请求。 Cache Aside Pattern 最经典的缓存+数据库读写的模式，就是 Cache Aside Pattern。 读的时候，先读缓存，缓存没有的话，就读数据库，然后取出数据后放入缓存，同时返回响应。 更新的时候，先更新数据库，然后再删除缓存。 为什么是删除缓存，而不是更新缓存？ 原因很简单，很多时候，在复杂点的缓存场景，缓存不单单是数据库中直接取出来的值。 比如可能更新了某个表的一个字段，然后其对应的缓存，是需要查询另外两个表的数据并进行运算，才能计算出缓存最新的值的。 另外更新缓存的代价有时候是很高的。是不是说，每次修改数据库的时候，都一定要将其对应的缓存更新一份？也许有的场景是这样，但是对于比较复杂的缓存数据计算的场景，就不是这样了。如果你频繁修改一个缓存涉及的多个表，缓存也频繁更新。但是问题在于，这个缓存到底会不会被频繁访问到？ 举个栗子，一个缓存涉及的表的字段，在 1 分钟内就修改了 20 次，或者是 100 次，那么缓存更新 20 次、100

网站都是从小网站一步一步发展为大型网站的，而这之中的挑战主要来自于庞大的用户、安全环境恶劣、高并发的访问和海量的数据，任何简单的业务处理，一旦需要处理数以 P 计的数据和面对数以亿计的用户时，问题就会变的很棘手 下面我们就来说说这个演变过程： 初始阶段 大型网站都是由小型网站演变而来的，网站架构也一样 小型网站最开始没有太多人访问，只需要一台服务器就绰绰有余，就像这样： 应用程序、数据库、文件等所有资源都在一台服务器上，通常使用 Linux PHP MySQL Apache 就可以完成整个项目部署，然后再买个域名，租一个廉价的服务器就可以开始我们的网站之旅了 应用服务与数据服务分离 随着业务的发展，逐渐的一台服务器已经不能满足需求，这时我们可以将 应用与数据分离 分离之后我们使用到三台服务器：应用服务器、文件服务器和数据库服务器，如下所示： 对于这三台服务器要求各不相同： 应用服务器 要处理大量的业务逻辑，所以需要更好更快更强大的 CPU 数据库服务器 需要快速的进行磁盘检索和数据缓存，因此需要更快的硬盘和更大的内存 文件服务器 需要存储用户上传的文件资源，因此需要更大的硬盘存储空间 应用与数据分离后，各个的职责变得更加专一，网站的性能得到进一步的提升，但随着用户的继续增加，我们需要对网站架构进一步优化 使用缓存改善性能 网站的访问一样遵循二八定律：80% 的业务访问集中在 20%

运输层 运输层概述 运输层提供应用层端到端通信服务，通俗的讲，两个主机通讯，也就是应用层上的进程之间的通信，也就是转换为进程和进程之间的通信了，我们之前学到网络层，IP协议能将分组准确的发送到目的主机，但是停留在网络层，并不知道要怎么交给我们的主机应用进程，通过前面的学习，我们学习有mac地址，通过mac地址能找到同一个网络下主机，有IP地址，通过ip地址能找到不同网络下的网络，结合mac地址就能找到对应主机，那么怎么找到主机应用进程呢，肯定也有一个东西来标识它，那就是我们常说的端口了。 端口 占有16位，其大小也就有65536个，是从0~65535.也就是一台计算机有65535个端口，主机之间的通讯，也就是应用进程之间的通讯，都要依靠端口，一个进程对应一个端口，进程A和进程B通信，进程A分到的端口为60000，进程B分到的端口为60001，进程A通过端口60000发送数据给进程B，就知道要交给60001端口，也就到了进程B中，这样就达到了通信的目的。 熟知端口、登记端口、客户端端口 熟知端口：0-1023， 也就是一些固定的端口号，比如http使用的80端口，意思就是在访问网址时，我们访问服务器的端口就是80，然后服务器那边传网页的数据给我们。 登记端口：1024-49151，比如微软开发了一个系统应用，该应用在通讯或使用时，需要使用到xxx端口，那么就要去登记一下这个端口

此篇为转载：原文链接： https://www.cnblogs.com/MonkTang/p/9204993.html Java学习流程 首先，我个人比较推崇的学习方法是：先学java前段，也就是HTML，css，js，因为学习java以后肯定是往java ee方向发展的，学习完前端，在学习后端很多东西比计较容易理解！ 　　其中J2SE是关键，如果学好了java se 部分，基础扎实了，后面进阶学习也比较轻松！ 　　补充说明一下：我觉得学习java比较合适的方法是先把所有的知识点过一遍，然后把所有的知识点串起来，边做开发边补充，就像写文章一样，先写好框架，然后再去润色填充。因为前期在学习的时候你不知道用在哪里，不知道用途，没有学习的目的，所以很多概念就很难理解，时间久了也容易遗忘。但是如果你直接从实践开始学习，很多知识点都充串联起来了，而且会印象深刻，当然前提条件是你已经入门，已经能写一些简单的程序，我个人现在也是按照这个方式在学习了，感觉很有效。 　　 说明： 本文介绍的内容过于详尽，这里我补充一些基本的学习路线，相对比较简略，但是比较可行： 　　　　1、基础语法。也就是我们常说，各种编程语言都有的部分，数据类型，数组，for循环，do-while,switch……等等，是学习任何编程语言的基础，很关键。 　　　　2、面对对象：①类和对象；②Java的三大特性（封装、继承、多态）

1.缓存雪崩和缓存穿透问题 　　1.1缓存雪崩 　　　　简介：缓存同一时间大面积的失效，所以，后面的请求都会落到数据库上，造成数据库短时间内承受大量请求而崩掉。 　　解决办法： 　　　　 事前：尽量保证整个 redis 集群的高可用性，发现机器宕机尽快补上。选择合适的内存淘汰策略。 　　　　 事中： 本地 ehcache 缓存 + hystrix 限流&降级 ，避免 MySQL 崩掉 　　　　 事后：利用 redis 持久化机制保存的数据尽快恢复缓存 encache： 　　Ehcache是纯java的开源缓存框架，具有快速、精干等特点，是Hibernate中默认的CacheProvider。它主要面向通用缓存、Java EE和轻量级容器，具有内存和磁盘存储、缓存加载器、缓存扩展、缓存异常处理程序。 　　 应用场景： 　　使用纯java的ehcache作为本地缓存 　　Reids 作为远程分布式缓存 　　解决redis缓存压力过大，提高缓存速度，以及缓存性能。 redis和Ehcache缓存的区别 　　如果是单个应用或者对缓存访问要求很高的应用，用ehcache。 　　如果是大型系统，存在缓存共享、分布式部署、缓存内容很大的，建议用redis。 实际工作中使用Ehcache 　　 我们在项目中使用集中式缓存(Redis或者式Memcached等)，通常都是检查缓存中是否存在

nginx优化 突破十万并发 一、一般来说nginx 配置文件中对优化比较有作用的为以下几项： 1. worker_processes 8; nginx 进程数，建议按照cpu 数目来指定，一般为它的倍数 (如,2个四核的cpu计为8)。 2. worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; 为每个进程分配cpu，上例中将8 个进程分配到8 个cpu，当然可以写多个，或者将一 个进程分配到多个cpu。 3. worker_rlimit_nofile 65535; 这个指令是指当一个nginx 进程打开的最多文件描述符数目，理论值应该是最多打开文 件数（ulimit -n）与nginx 进程数相除，但是nginx 分配请求并不是那么均匀，所以最好与ulimit -n 的值保持一致。 现在在linux 2.6内核下开启文件打开数为65535，worker_rlimit_nofile就相应应该填写65535。 这是因为nginx调度时分配请求到进程并不是那么的均衡，所以假如填写10240，总并发量达到3-4万时就有进程可能超过10240了，这时会返回502错误。 查看linux系统文件描述符的方法： [root@web001 ~]# sysctl -a

1. 概述 本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 2. 基本概念 在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍： 分布式 系统中的多个模块在不同服务器上部署，即可称为分布式系统，如 Tomcat和数据库分别部署在不同的服务器上，或两个相同功能的Tomcat分别部署在不同服务器上 高可用 系统中部分节点失效时，其他节点能够接替它继续提供服务，则可认为系统具有高可用性 集群 一个特定领域的软件部署在多台服务器上并作为一个整体提供一类服务，这个整体称为集群。如 Zookeeper中的Master和Slave分别部署在多台服务器上，共同组成一个整体提供集中配置服务。在常见的集群中，客户端往往能够连接任意一个节点获得服务，并且当集群中一个节点掉线时，其他节点往往能够自动的接替它继续提供服务，这时候说明集群具有高可用性 负载均衡 请求发送到系统时，通过某些方式把请求均匀分发到多个节点上，使系统中每个节点能够均匀的处理请求负载，则可认为系统是负载均衡的 正向代理和反向代理 系统内部要访问外部网络时，统一通过一个代理服务器把请求转发出去，在外部网络看来就是代理服务器发起的访问

1. HTTP请求格式 首先介绍HTTP协议： 超文本传输协议 （HTTP，HyperText Transfer Protocol)是 互联网 上应用最为广泛的一种 网络协议 。所有的 WWW 文件都必须遵守这个标准。 工作原理： 由HTTP客户端发起一个请求，建立一个到服务器指定端口（默认是 80端口 ）的TCP连接。 连接 HTTP服务器则在那个端口监听客户端发送过来的请求。一旦收到请求， 请求 服务器（向客户端）发回一个状态行，比如"HTTP/1.1 200 OK"，和（响应的）消息，消息的消息体可能是请求的文件、错误消息、或者其它一些信息。响应 客户端接收服务器所返回的信息通过浏览器显示在用户的显示屏上，然后客 http工作流程图 户机与服务器断开连接 显示内容 HTTP协议的网页 HTTP使用TCP而不是UDP的原因在于（打开）一个网页必须传送很多数据，而TCP协议提供传输控制，按顺序组织数据，和错误纠正。 　　做过Socket编程的人都知道，当我们设计一个通信协议时，“消息头/消息体”的分割方式是很常用的，消息头告诉对方这个消息是干什么的，消息体告诉对方怎么干。HTTP协议传输的消息也是这样规定的，每一个HTTP包都分为HTTP头和HTTP体两部分，消息体是可选的，而消息头是必须的。每当我们打开一个网页，在上面点击右键，选择“查看源文件”