Redis Shard

(大致了解下)从单机到2000万QPS: 知乎Redis平台发展与演进之路

旧巷老猫 提交于 2019-12-13 22:02:12
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 导读:知乎存储平台团队基于开源Redis 组件打造的 知乎 Redis 平台 ,经过不断的研发迭代,目前已经形成了一整套完整自动化运维服务体系,提供很多强大的功能。本文作者是是该系统的负责人,文章深入介绍了该系统的方方面面,作为后端程序员值得仔细研究。 作者简介: 陈鹏,现知乎存储平台组 Redis 平台技术负责人,2014 年加入知乎技术平台组从事基础架构相关系统的开发与运维,从无到有建立了知乎 Redis 平台,承载了知乎高速增长的业务流量。 背景 知乎作为知名中文知识内容平台,每日处理的访问量巨大,如何更好的承载这样巨大的访问量,同时提供稳定低时延的服务保证,是知乎技术平台同学需要面对的一大挑战。 知乎存储平台团队基于开源Redis 组件打造的 Redis 平台管理系统,经过不断的研发迭代,目前已经形成了一整套完整自动化运维服务体系,提供一键部署集群,一键自动扩缩容, Redis 超细粒度监控,旁路流量分析等辅助功能。 目前,Redis 在知乎规模如下: ● 机器内存总量约70TB,实际使用内存约40TB; ● 平均每秒处理约1500万次请求,峰值每秒约2000万次请求; ● 每天处理约1万亿余次请求; ● 单集群每秒处理最高每秒约400万次请求; ● 集群实例与单机实例总共约800个; ●