我挖掘Kafka底层原理!发现了它火爆宇宙的3个真相
目前市面上各种中间件层出不穷,我们在做具体的选型时难免会纠结,在这里阐述点粗浅的看法,其实每个中间件在其设计上,都有其独有的特点或优化点,这些恰好应该是我们所关注的,这样才能做到物尽其用,将其特性发挥到最大;同时还要了解它们各自的劣势,这主要为了避坑。各种中间件就像是积木,我们能做的,就是选择合适形状的积木,搭出需要的房子。 不得不说Kafka这块积木,既能做消息中间件削峰解耦,又能做实时流处理,数据业务两手抓,真可谓上得厅堂,下得厨房。所以Kafka系列的第一篇,想先从它的应用场景分别出发,说说是哪些技术和原理支撑了它的技术特性。 Kafka核心思想概括 所有的消息以“有序日志“的方式存储,生产者将消息发布到末端(可理解为追加),消费者从某个逻辑位按序读取。 【场景一】消息中间件 在选择消息中间件时,我们的主要关注点有:性能、消息的可靠性,顺序性。 1.性能 关于Kafka的高性能,主要是因为它在实现上利用了操作系统一些底层的优化技术,尽管作为写业务代码的程序员,这些底层知识也是需要了解的。 【优化一】零拷贝 这是Kafka在消费者端的优化,我们通过两张图来比较一下传统方式与零拷贝方式的区别: 传统方式: 零拷贝方式: 终极目标:如何让数据不经过用户空间? 从图中可看出,零拷贝省略了拷贝到用户缓冲的步骤,通过文件描述符,直接从内核空间将数据复制到网卡接口。 【优化二】顺序写入磁盘