Redis

点击上方 蓝字 加关注吧 来源：https://urlify.cn/jyYny2 对于线上系统调优，它本身是个技术活，不仅需要很强的技术实战能力，很强的问题定位，问题识别，问题排查能力，还需要很丰富的调优能力。 本篇文章从实战角度，从问题识别，问题定位，问题分析，提出解决方案，实施解决方案，监控调优后的解决方案和调优后的观察等角度来与大家一起交流分享本次线上高并发调优整个闭环过程。 一、项目简要情况概述 该项目为基于SSM架构的商城类单体架构项目，其中有一个秒杀重磅模块，如下为当前线上环境的简要架构部署图，大致描述一下： (1)项目为SSM架构 (2)服务器类别：1台负载均衡服务器(F5),3台运用程序服务器，1台计时器服务器,1台redis服务器，1台图片服服务器和1台基于Pass架构的Mysql主从服务器(微软云) (3)调用逻辑：下图为简要调用逻辑 二、何为单体架构项目 从架构发展角度，软件项目经历了如下阶段的发展： 1.单体架构： 可理解为传统的前后端未分离的架构 2.垂直架构： 可理解为前后端分离架构 3.SOA架构： 可理解为按服务类别，业务流量，服务间依赖关系等服务化的架构，如以前的单体架构ERP项目，划分为订单服务，采购服务，物料服务和销售服务等 4.微服务： 可理解为一个个小型的项目，如之前的ERP大型项目，划分为订单服务(订单项目)，采购服务(采购项目)

Java多线程编程核心技术_完整版 第1章 Java多线程技能 第2章 对象及变量的并发访问 第3章 线程间通信 第4章 Lock的使用 第5章 定时器Timer 第6章 单例模式与多线程 第7章 拾遗增补 Java 给多线程编程提供了内置的支持。 一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。 多线程是多任务的一种特别的形式，但多线程使用了更小的资源开销。 这里定义和线程相关的另一个术语 - 进程：一个进程包括由操作系统分配的内存空间，包含一个或多个线程。一个线程不能独立的存在，它必须是进程的一部分。一个进程一直运行，直到所有的非守护线程都结束运行后才能结束。 多线程能满足程序员编写高效率的程序来达到充分利用 CPU 的目的。 Redis实战核心篇 第1章 初识Redis 第2章 使用Redis构建Web应用 第二部分　核心概念 第3章 Redis命令 第4章 数据安全与性能保障 第5章 使用Redis构建支持程序 第6章 使用Redis构建应用程序组件 第7章 基于搜索的应用程序 第8章 构建简单的社交网站 第三部分　进阶内容 第9章 降低内存占用 第10章 扩展Redis 第11章 Redis的Lua脚本编程 Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多

1、分析 （1）为什么使用代理池？ 许多网站上有专门的反爬虫措施，可能遇到封IP等问题 互联网上公开了大量免费代理，利用好资源 通过定时的检测维护同样可以得到多个可用代理 （2）代理池的需求 多站抓取 异步检测 定时筛选 持续更新 提供接口 易于提取 （3）代理池的框架 2、文件夹中的分布 3、各个代码的内容以及作用 （3-1）README.md # ProxyPool此代理池在获取IP的时候使用了pop方法一次性使用，如果是想多次可用可以移步优化后的代理池：[https://github.com/Python3WebSpider/ProxyPool]，推荐使用。 ## 安装 （1）安装Python，至少Python3.5以上 （2）安装Redis，安装好之后将Redis服务开启 ## 配置代理池 进入proxypool目录，修改settings.py文件：PASSWORD为Redis密码，如果为空，则设置为None ## 安装依赖 aiohttp>=1.3.3 Flask>=0.11.1 redis>=2.10.5 requests>=2.13.0 pyquery>=1.2.17 ## 打开代理池和API 直接运行：run.py ## 获取代理：利用requests获取方法如下 import requests PROXY_POOL_URL = 'http://localhost

文章内容输出来源：拉勾教育Java高薪训练营 写在前沿 工作几年，一直都没有去体系化的学习，很多东西没有复杂的工作场景经验，最后还是决定报了拉勾的高薪训练营，在这里也是实实在在的学习到了很多，学完掌握程度也比之前深了很多，而且还有定期的内推，多了更多的机会，真的对我有了很大的帮助提升。特别感谢温柔可爱的小竹子班主任和认真负责帅气的老可乐导师给予我的帮助！ 缓存雪崩 缓存层承载着大量的请求，有效保护了存储层。但是如果由于缓存大量失效或者缓存整体不能提供服务，导致大量的请求到达存储层，会使存储层负载增加，这就是缓存雪崩的场景。 解决缓存雪崩 1.保持缓存层的高可用性 使用Redis 哨兵模式或者Redis 集群部署方式，即便个别Redis 节点下线，整个缓存层依然可以使用。除此之外，还可以在多个机房部署 Redis，这样即便是机房死机，依然可以实现缓存层的高可用。 2.限流降级组件 无论是缓存层还是存储层都会有出错的概率，可以将它们视为资源。作为并发量较大的分布式系统，假如有一个资源不可用，可能会造成所有线程在获取这个资源时异常，造成整个系统不可用。降级在高并发系统中是非常正常的，比如推荐服务中，如果个性化推荐服务不可用，可以降级补充热点数据，不至于造成整个推荐服务不可用。常见的限流降级组件如 Hystrix、Sentinel 等。 3.缓存不过期 Redis 中保存的 key

https://zhuanlan.zhihu.com/p/106724590 2020 的开头实在是太烂了，新冠肺炎肆虐神州大地，这场突如其来的灾难影响实在是太大了，全国人民在齐心协力共度难关的同时，也无时无刻不在期盼疫情快点过去。当然我们在隔离办公的同时，每天也都关注着疫情的发展，盼望着“拐点”快点来临，毕竟大家都盼望着外面的新鲜空气呢！ 这里我制作了一个疫情展示的页面，也为这次疫情贡献一份力量。 数据获取 我这里使用的数据是天行数据提供的免费接口以及网易的实时数据接口 天行数据的两个接口 > HTTP请求GET/POST接口测试工具 - 天行数据TianAPI 和 > HTTP请求GET/POST接口测试工具 - 天行数据TianAPI 以及网易提供的实时数据接口 > https:// c.m.163.com/ug/api/wuha n/app/index/feiyan-data-list 为了不多次的访问网络接口，我从这三个接口中获取到数据后，都保存到了本地的 redis 中，这样只需要每隔一段时间访问上面的三个接口即可，其余 web 页面的请求都从 redis 中获取。 以网易接口为例 def get_trend_data (): headers = { 'user-agent' : '' , 'accept' : '' } url = 'https://c.m.163

ABTestingGateway简介 ABTestingGateway 是新浪开源的一个可以动态设置分流策略的灰度发布系统，工作在7层，基于nginx和ngx-lua开发，使用 redis 作为分流策略数据库，可以实现动态调度功能。 nginx是目前使用较多的7层服务器，可以实现高性能的转发和响应；ABTestingGateway 是在 nginx 转发的框架内，在转向 upstream 前，根据 用户请求特征 和 系统的分流策略 ，查找出目标upstream，进而实现分流。 环境搭建 1.安装openresty 其是由Nginx核心加很多第三方模块组成，其最大的亮点是默认集成了Lua开发环境，使得Nginx可以作为一个Web Server使用。借助于Nginx的事件驱动模型和非阻塞IO，可以实现高性能的Web应用程序。而且OpenResty提供了大量组件如Mysql、Redis、Memcached等等，使在Nginx上开发Web应用更方便更简单。目前在京东如实时价格、秒杀、动态服务、单品页、列表页等都在使用Nginx+Lua架构，其他公司如淘宝、去哪儿网等。 安装命令： brew install openresty brew默认将openresty安装在 /usr/local/Cellar/openresty/ 目录下 2.安装luajit JIT = Just In

EVAL 　　用于使用Redis内置的Lua解析器解析脚本。 　　键参数可以使用 KEYS 访问，如 KEYS[1] ， KEYS[2] ... 　　值参数可以使用 ARGV 访问，如 ARGV[1] ， ARGV[2] ... 　　Lua脚本调用Redis命令 　　　 redis.call() redis.pcall() 　　　　两者之间唯一的不同是错误的返回形式 脚本的原子性 　　 Redis使用相同的Lua解释器来运行所有命令。 另外，Redis保证以原子方式执行脚本：执行脚本时不会执行其他脚本或Redis命令。 这种语义类似于Redis事务。 EVALSHA 　　EVAL命令会每次将脚本内容发送给Redis实例，Redis不需要每次都重新编译脚本，因为它使用内部缓存机制，但是在许多情况下，支付额外网络带宽的成本可能不是最优的。 　　 EVALSHA的 工作原理与 EVAL 完全相同 ，但是它没有脚本作为第一个参数，而是具有脚本的SHA1摘要。 　　即使客户端实际调用EVAL，客户端库实现也始终可以乐观地发送EVALSHA，以希望脚本已被服务器看到。如果返回错误，将使用EVAL代替。NOSCRIPT在这种情况下，将键和参数作为附加的EVAL参数传递也是非常有用的，因为脚本字符串保持不变，并且Redis可以有效地对其进行缓存 脚本缓存机制 　

1、监控linux机器 node-exporter 被监控的机器 安装 https://github.com/prometheus/node_exporter/releases/download/v0.17.0/node_exporter-0.17.0.linux-amd64.tar.gz 这里导入的 数据源非彼数据源 ，而是用 grafana画好的 dashborad 这里的数据源 才是选择 prometeus 的数据源 配置 ---- piechart插件 安装pie插件 官网： https://grafana.net/plugins/grafana-piechart-panel grafana的默认插件目录是/var/lib/grafana/plugins，可以将下载好的插件解压到这个目录， 重启grafana即可 service grafana-server restart /usr/sbin/grafana-cli plugins ls #查看已安装插件 启动 效果图 2、监控Windows机器 wmi-exporter 被监控windows机器安装wmi-exporter，会自动创建一个开机自启的服务 https://github.com/martinlindhe/wmi_exporter/releases 默认wmi-exporter 端口为：9182 - job

pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.3.1.RELEASE</version> <relativePath/> <!-- lookup parent from repository --> </parent> <groupId>com.xiao</groupId> <artifactId>boot-jedis</artifactId> <version>0.0.1-SNAPSHOT</version> <name>boot

repl-ping-slave-period主从心跳ping的时间间隔。默认10 repl-timeout 从节点超时时间。默认60 repl-backlog-size 主节点保存操作日志的大小。默认1M repl-backlog-ttl 主节点保存操作日志的时间。默认3600秒 client-output-buffer-limit 这个参数分为3部分，第二部分涉及slave。表示主节点输出给从节点的缓存(output-buffer)大小。默认是：256M 64M 60秒。意思是：如果output-buffer>256M则从节点需要重新全同步，如果256>output-buffer>64且持续时间60秒，则从节点需要重新全同步。 主从同步的健康监控项(info Replication ): 主节点： master_repl_offset 主节点backlog偏移量 slave0: offset 从节点backlog偏移量 master_repl_offset - offset master_repl_offset与 offset的差量为 延迟backlog 从节点： master_last_io_seconds_ago 从节点超时时间 从网络断开到恢复后。slave redis 重新链接上主库。判断是否需要做全同步，或者是增量恢复的流程图如下： 1. repl-timeout