Redis

写在前面 在知乎上看到一条消息，说互联网公司每月对架构师的需求量高达近万人，有点出乎意料。那求职季需求岂不会更多！只要放平心态，调整策略，用心准备，就能抢占先机。那么，对于技术人，尤其是 Java 人来说，到底需要掌握什么技术才能通过筛选呢？这里列出几个流行的技术： 1、JAVA并发编程 对于一个 Java 程序员而言，能否熟练掌握并发编程是判断他优秀与否的重要标准之一。因为并发编程是 Java 语言中最为晦涩的知识点，它涉及操作系统、内存、CPU、编程语言等多方面的基础能力，更为考验一个程序员的内功。 2、Java虚拟机 熟知 Java 虚拟机的工作原理可以大幅提升日常编程的效率，对寻常 Bug 的修复更是轻而易举。同时，这也是Java 技术的重要组成成分之一，是实现技术进阶必不可缺的知识。 3、Nginx Nginx 很火，因为它就像一个万能药，在任何存在性能需求的场合总能找见它的身影，它可以轻松在百万并发连接下实现高吞吐量的 Web 服务。同时，类似于 OpenResty 和 Tengine 这样的第三方模块群，进一步发展出了新生态，使 Nginx 的应用进一步向应用防火墙、CDN 等领域扩展。 4、Spring全家桶 毋庸置疑，Spring 早已成为 Java 后端开发事实上的行业标准，无数的公司选择 Spring 作为基础的开发框架，大部分 Java

MySQL 01-win10安装MySQL5.6 02-引用-centos8安装MySQL8.0(yum) 03-初识SQL语句 04-表的基本操作+数据类型 05-约束条件 06-单表查询 07-多表查询 08-mysql工具&sql注入问题 09-mysql进阶知识点 10-打通了数据库的登录注册 Redis 01-安装redis-5.0.5 02-基本数据类型操作方法 03-其他常用操作方法 04-管道&发布订阅 RabbitMQ 01-初识RabbitMQ消息队列 02-常用参数 03-交换机-fanout 04-交换机-direct 05-交换机-topic 06-RabbitMQ优先队列 07-RabbitMQ简单实现RPC模式 来源： oschina 链接： https://my.oschina.net/u/4343260/blog/4296268

最近花了很长的时间去搜罗整理Java核心技术好文，我把每个Java核心技术的优选文章都整理成了一个又一个的文档。今天就把这些东西分享给老铁们，也能为老铁们省去不少麻烦，想学什么技能了，遇到哪方面的问题了 直接打开文档学一学就好了。不多说，直接上干货！ 一、Redis技术好文精选整理 Redis哨兵、复制、集群的设计原理，以及区别 Spring+Redis+Docker+Dubbo 深入了解redis 如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题 二、Nginx技术好文精选整理 Nginx实战 Nginx教程从入门到精通 三、Spring全家桶技术好文精选整理 Spring从入门到精通(珍藏版) Spring MVC 学习指南 Spring源码深度解析 spring-boot-中文参考手册 Spring+Redis+Docker+Dubbo 《疯狂Spring Cloud》电子书（一） SpringBoot实战 四、分布式技术好文精选整理 RabbitMQ实战 高效部署分布式消息队列 从 Paxos 到 ZooKeeper 分布式一致性原理与实践 大规模分布式系统架构与设计实战.完整版 分布式数据库架构及企业实践-基于Mycat中间件 分布式java应用-基础与实际 大型分布式网站架构设计与实践 分布式Java应用基础与实践 分布式服务框架原理与实践 大规模分布式存储系统

上一篇： spring boot 1.5.4 整合JSP （四） 1.1 Spring Boot 集成 devTools spring boot 集成 devTools 源码： spring-boot相关项目源码， 码云地址： https://git.oschina.net/wyait/springboot1.5.4.git github地址 ： https://github.com/wyait/spring-boot-1.5.4.git 实现步骤： Eclipse Project 必须开启了 Build Automatically ，如果关闭了自动编译的功能，热部署无效。 1. pom 引入 devTools 依赖和插件配置 <!-- devtools--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <optional>true</optional> <!--optional=true, 依赖不会传递，该项目依赖 devtools ；之后依赖 SpringBoot1 项目的项目如果想要使用 devtools ，需要重新引入 --> </dependency> 2.可以根据需要调整 application

本文源码： GitHub·点这里 || GitEE·点这里 一、高并发简介 在互联网的业务架构中，高并发是最难处理的业务之一，常见的使用场景：秒杀，抢购，订票系统；高并发的流程中需要处理的复杂问题非常多，主要涉及下面几个方面： 流量管理，逐级承接削峰； 网关控制，路由请求，接口熔断； 并发控制机制，资源加锁； 分布式架构，隔离服务和数据库； 高并发业务核心还是流量控制，控制流量下沉速度，或者控制承接流量的容器大小，多余的直接溢出，这是相对复杂的流程。其次就是多线程并发下访问共享资源，该流程需要加锁机制，避免数据写出现错乱情况。 二、秒杀场景 1、预抢购业务 活动未正式开始，先进行活动预约，先把一部分流量收集和控制起来，在真正秒杀的时间点，很多数据可能都已经预处理好了，可以很大程度上削减系统的压力。有了一定预约流量还可以提前对库存系统做好准备，一举两得。 场景：活动预约，定金预约，高铁抢票预购。 2、分批抢购 分批抢购和抢购的场景实现的机制是一致的，只是在流量上缓解了很多压力，秒杀10W件库存和秒杀100件库存系统的抗压不是一个级别。如果秒杀10W件库存，系统至少承担多于10W几倍的流量冲击，秒杀100件库存，体系可能承担几百或者上千的流量就结束了。下面流量削峰会详解这里的策略机制。 场景：分时段多场次抢购，高铁票分批放出。 3、实时秒杀 最有难度的场景就是准点实时的秒杀活动

不点蓝字，我们哪来故事？ Redis操作流程： 预热——初始化：以前在操作Redis中的数据之前，需要判断数据是否存在，存在获取，不存在创建一个（即准备数据）。实际中尽量避免，即操作之前就先将数据准备好； 缓存的逻辑操作：对缓存中的数据做CRUD等操作； 缓存数据的持久化：缓存中的数据被操作之后，数据库中的数据要不要和Redis被写的数据保持同步；读操作不会改变，不需要持久化； 初始化（预热）： 凡是用到Redis的都要思考上面的三个步骤 思考： 使用Redis都要想清楚的问题： 需要初始化什么数据 ？ 需要频繁改动的数据（ DML ）[ 此处需要将统计相关的vo数据初始化到Redis中 ] 不需要频繁改动的数据（DQL） 在哪一个项目执行初始化逻辑 ？（mgrsite、website-api） website-api ：接口对外暴露，安全性不可保证；website-api后续拓展可能做集群操作，那样就会导致多次执行了初始化操作； 数据初始化数据数据管理范畴，你应该 使用mgrsite 来管理； 在JavaWeb中的哪一个组件中实现初始化逻辑？（filter、servlet、intercept、controller、listener） javaweb监听器：监听web（Tomcat）容器的启动，功能简单； spring容器的监听器 ：监听的是spring容器的启动，功能强大

本文主人公从事软件开发近 20 年，既在大公司待过，也在小公司待过。在他的职业生涯中，发现了很多跟技术选型相关的各种问题：应该选新潮的技术还是无聊的技术？应该搭建极客范的技术栈还是使用基础的工具？应该用开发者喜欢的还是维护起来省事的？他对此作了深入的剖析，希望能帮到你。（多图流量预警！） ​ 我叫 Dan McKinley，坑里的那个人就是我。 我现在在一家叫作 Mailchimp 的公司上班。更早之前是在 Etsy，因为在 Etsy 待的时间比较长，所以后面会更多地提到我在这家公司的经历。其实在离开 Etsy 之后，我也在其他几家公司干过。 我既在大公司待过，也在小公司待过，还创办过自己的公司。在经历了这些公司之后，我注意到了一些现象。 大公司有自己的做事方式，他们提供了“沙盒”一样的环境，在这样的环境里，会有人满足你的需求，帮你答疑解惑，让你感觉受到了“百般宠爱”。 但我也经历过几个过渡时期，在这些过渡时期，需要自己解决一些棘手的问题。 首先，如何选择合适的技术？ 另一个我比较关心的问题是：如何让开发人员开心地使用这些技术？因为我自己也是开发者，所以这一点对于我来说比较重要。如果有可能，我会尽量让自己过得开心些。 如果你问开发人员什么东西会让他们开心，他们通常会说：“如果可以使用 Clojure 作为开发语言，我就会很开心”。我不否认，当他们说这些话的时候

缓存雪崩 出现过程 假设有如下一个系统，高峰期请求为5000次/秒，4000次走了缓存，只有1000次落到了数据库上，数据库每秒1000的并发是一个正常的指标，完全可以正常工作， 但如果缓存宕机了，或者缓存设置了相同的过期时间，导致缓存在同一时刻同时失效 ，每秒5000次的请求会全部落到数据库上，数据库立马就死掉了，因为数据库一秒最多抗2000个请求，如果DBA重启数据库，立马又会被新的请求打死了，这就是缓存雪崩。 解决方法 事前：redis高可用，主从+哨兵，redis cluster，避免全盘崩溃 事中：本地ehcache缓存 + hystrix限流&降级，避免MySQL被打死 事后：redis持久化RDB+AOF，快速恢复缓存数据 缓存的失效时间设置为随机值，避免同时失效 缓存穿透 出现过程 假如客户端每秒发送5000个请求，其中4000个为黑客的恶意攻击，即在数据库中也查不到。举个例子，用户id为正数，黑客构造的用户id为负数，如果黑客每秒一直发送这4000个请求，缓存就不起作用，数据库也很快被打死。 解决方法 对请求参数进行校验，不合理直接返回 查询不到的数据也放到缓存，value为空，如 set -999 “” 使用布隆过滤器，快速判断key是否在数据库中存在，不存在直接返回 第一种是最基本的策略，第二种其实并不常用，第三种比较常用。 为什么第二种并不常用呢？

前言 权限管控对于一个系统来说是非常重要的，最熟悉不过的是菜单权限和数据权限，上一节通过Jwt实现了认证，接下来用它实现接口权限的验证，为什么不是菜单权限呢？对于前后端分离而言，称其为接口权限感觉比较符合场景(我是这么理解的)；数据权限牵涉到具体业务，这里就不说啦！ 正文 对于一些比较简单的系统，访问角色可能只有固定的几种，比如一些产品管理系统，通常只有管理员、维护员、用户三种权限，管理员拥有整个系统的权限，维护员只能访问产品维护相关页面和操作，用户只能访问产品的一些信息，如果类似这种情况，可以直接指定角色的方式进行权限管控，如下： 案例代码直接使用上一节的项目，借用上次认证那块代码(偷懒太明显~~~)，如果没看上一篇的小伙伴，去瞅瞅认证那块内容( 跟我一起学.NetCore之WebApi接口裸奔有风险(Jwt) )，随便敲敲代码，这节要用(别说我，我是有苦衷的，想让小伙伴多撸代码~~~)；如果只是想熟悉知识点，也可以继续往下看的，不废话，直接开始： 注：[Authorize]加在控制器上时，该控制器下所有的接口都受保护； 为了方便测试，如上图所示，增加一个产品控制器，针对不同人员模拟了三个接口，因为接口受到保护，只能通过获取到的Token才能正常访问，这里就不截图演示了。Token调用User中的Login接口获取，详细请参考( 跟我一起学

redis系列之数据库与缓存数据一致性解决方案 参考文章： （1）redis系列之数据库与缓存数据一致性解决方案 （2）https://www.cnblogs.com/cxxjohnson/p/8519616.html 备忘一下。 来源： oschina 链接： https://my.oschina.net/u/4432649/blog/4659126