Kafka

故障与恢复[消费端] kafka_2.13-2.6.0 : 有三个broker[a,b,c] 创建topic:notice 分配了三个 partition[1,2,3] ,且副本数量为3,创建mygroup分组消费者为3个：consumer1,consumer2,consumer3 ? 如何消费 写[控制台/脚本] kafka-console-producer.bat --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 --topic notice --property parse.key=true key msg 1 a1 2 b1 4 c1 读[控制台/脚本] kafka-console-consumer.bat --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 --topic notice --group mygrop 三个消费者分别消费不同的 partition 消费者 msg consumer1 b1 consumer2 a1 consumer3 c1 ? 如果consumer1挂了,如何消费 写[控制台/脚本] key msg 1 a2 2 b2 4 c2 读[控制台/脚本] 有两个 partition1 和

时间：2020年10月30日 地点：上海中庚聚龙酒店 场次：大数据&数据中台专场 演讲主题：《万亿级消息队列Kafka在滴滴的实践》 你将收获： 滴滴Kafka高可用建设在架构与引擎上做了哪些针对性优化？ 如何应对Topic资源隔离差、影响集群稳定性等问题？ 如何应对Kafka运维友好性与可观察性不足等问题？ 张亮 滴滴出行 OLAP&搜索平台负责人 滴滴大数据架构部高级技术专家， 2014年加入滴滴，主持构建过任务调度系统、监控系统、日志服务、实时计算、同步中心等平台设计与研发工作 目前负责LogAgent、Kafka 、ElasticSearch、OLAP的引擎建设工作，具有丰富的高并发、高吞吐场景的架构设计与研发经验 DAMS峰会议程 报名方式 ↓ 点这里可了解峰会更多详情 本文分享自微信公众号 - 小白学IT（xiaobaixueIT）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina.net/u/4610683/blog/4690752

1 背景 最近团队接到这样一个需求，其他团队开发的业务系统需要监控我们负责的业务系统的数据库变更情况，当表发生INSERT,UPDATE及DELETE操作时，相关的业务系统能实时获取数据的变化信息。 经过讨论，团队决定使用Debezium实现需求，于是便对Debezium进行了较深入的学习。下面给大家分享一下自己对Debezium认识与理解。 2 Debezium的介绍 Debezium针对多种数据库，分别实现了同步数据库的Connector，这些Connector以插件的形式运行在Kafka Connect集群上。 Debezium并不是一个平台，它是对Kafka Connect的Connector和Task的一种实现。Debezium现在已支持以下数据库： MongoDB MySQL PostgreSQL SQL Server Oracle (Incubating) Db2 (Incubating) Cassandra (Incubating) 其中，Oracle、Db2和Cassandra的Connector还在研发中。 Kafka Connect的介绍及Debezium的原理将在后面的章节说明，下面我们先尝试通过Debezium官方提供的Docker Image搭建测试环境，体现一下Debezium捕获PostgreSQL数据库变化情况的效果。 3

序 本文主要研究一下golang的zap的ZapKafkaWriter ZapKafkaWriter package logger import ( "errors" "sync" "sync/atomic" "syscall" ) // ZapKafkaWriter is a zap WriteSyncer (io.Writer) that writes messages to Kafka type ZapKafkaWriter struct { kp *KafkaProducer ce *CloudEvents closed int32 // Nonzero if closing, must access atomically pendingWg sync.WaitGroup // WaitGroup for pending messages closeMut sync.Mutex } // newZapKafkaWriter returns a kafka io.writer instance func newZapKafkaWriter( kpCfg ProducerConfiguration, cloudEvents *CloudEvents, ceCfg CloudEventsConfiguration) (*ZapKafkaWriter, error) { //

Java中间件一面 1.技术一面考察范围： 重点问了Java线程锁：synchronized 和ReentrantLock相关的底层实现 线程池的底层实现以及常见的参数 数据结构基本都问了一遍：链表、队列等 Java内存模型：常问的JVM分代模型，以及JDK1.8后的区别，最后还问了JVM相关的调优参数 分布式锁的实现比较 2.技术一面题目： Java中间件二面 1 .技术二面考察范围 ： 问了项目相关的技术实现细节 数据库相关：索引、索引底层实现、mysql相关的行锁、表锁等 redis相关：架构设计、数据一致性问题 容器:容器的设计原理等 2.技术二面题目： Java中间件三面 1.技术三面考察范围 主要谈到了高并发的实现方案 以及中间件：redis、rocketmq、kafka等的架构设计思路 最后问了平时怎么提升技术的 2.技术三面题目 Java中间件四面 最后，你懂的，主要就是HR走流程了，主要问了未来的职业规划。 以上就是阿里Java中间件团队四面题目， 以下最新总结的阿里高级Java必考题范围和答案 ，仅用于参考~ 答案获取方式 扫描下方二维码 来源： oschina 链接： https://my.oschina.net/u/4879367/blog/4784907

本文来自: PerfMa技术社区 PerfMa(笨马网络)官网 一、问题 模型服务平台的排序请求出现较多超时情况，且不定时伴随空指针异常。 二、问题发生前后的改动 召回引擎扩大了召回量，导致排序请求的item数量增加了。 三、出问题的模型 基于XGBoost预测的全排序模型。 四、项目介绍 web-rec-model：模型服务平台。用于管理排序模型：XGBoost、TensorFlow、pmml....召回模型：item2item，key2item，vec2item....等模型的上下线、测试模型一致性、模型服务等。 五、一次排序请求流程 1、如下图所示，一次排序请求流程包含：特征获取、向量获取、数据处理及预测。以上提到的三个步骤均采用多线程并行处理，均以子任务形式执行。每个阶段中间夹杂这数据处理的流程，由主线程进行处理，且每个阶段的执行任务均为超时返回，主线程等待子线程任务时，也采用超时等待的策略。（同事实现的一个树形任务执行，超时等待的线程框架） 2、特征数据闭环：该步骤为异步执行，将排序计算使用到的特征及分数，模型版本等信息记录。后续作为模型的训练样本，达到特征闭环。 3、一次排序请求中， 特征获取及向量获取 为网络IO（IO密集型任务），超时可直接响应中断，线程可快速返回。 数据处理及模型 为计算步骤（CPU密集型任务）。 4、当前请求耗时情况

就目前大环境来看，跳槽成功的难度比往年高很多。总结一下面试的感受：无论一面还是二面，都很考验Java程序员的技术功底！！ 最近我整理了一份复习用的面试题及面试高频的考点题及技术点梳理成一份“Java程序员高频面试解析及知识点体系笔记.pdf（实际上比预期多花了不少精力），包含 集合，JVM，并发编程、Spring，MyBatis，微服务，Redis，Dubbo,设计模式，数据结构，分布式等！，由于篇幅有限，为了方便大家观看，这里以图片的形式给大家展示每部分的目录和答案截图，完整学习文档在文末有免费领取方式！ 这份Java面试解析和知识点体系文档内容包括： Java 篇主要包含 Java集合 Hashmap、JVM、GC、锁、多线程、并发、代理、NIO 等。 MySQL数据库主要包含索引、B+ 树、SQL 优化相关。 分布式存储篇主要包含 Redis 架构相关、MongDB 分布式中间件主要包含 Kafka，RabbitMQ相关面试题 微服务Spring Boot、Spring Cloud、Dubbo 篇。 系统架构设计篇，根据几个开放性题目来设计系统。 框架篇主要包含 Spring MyBatis、SpringMVC，netty与RPC 设计模式篇 数据结构与算法篇 相信它会给大家带来很多收获。 Java程序员高频面试解析及知识点体系笔记 JVM篇——JVM知识点体系笔记 JVM篇

下载： Spark3大数据实时处理-Streaming+Structured Streaming 实战 随着云计算和大数据的快速发展，在企业中大数据实时处理场景的需求越来越多。本课针对企业级实时处理方案进行全方位的讲解，基于Spark3，在同一个项目中，学习两套实时处理的解决方案：Spark Streaming和Structured Streaming。在框架学习的基础上，不仅带你体验完整实时处理方案的全流程，真正所学即所用，还会为你梳理大数据的常见面试题、大厂的实时解决方案，带你跨过面试最后一公里。 适合人群 想转型或者从事大数据开发的同学 对Spark有浓厚兴趣的同学 想掌握大数据实时处理技术的同学 技术储备要求 Linux命令基本操作 Hadoop命令基本操作 Scala基本语法的使用 章节目录： 第1章 【项目启动】项目背景及架构分析 本章将介绍实战项目背景、数据流，并让大家对知晓在实际项目中应如何进行技术的选型以及项目架构的迭代过程。 1-1 课程概览 试看 1-2 ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南） 1-3 课程目录 1-4 项目目的 1-5 项目流程 1-6 技术选型 1-7 项目总体架构 1-8 项目架构V1版本 1-9 项目架构V2版本 第2章 【环境部署】基础开发环境搭建 工欲利其事必先利其器

点 击 上 方 “ 中 间 件 兴 趣 圈 ” ， 选 择 “ 设 为 星 标 ” 做 积 极 的 人 ， 越 努 力 越 幸 运 ！ 真的非常开心，『中间件兴趣圈』公众号粉丝数正式迈过1W大关，达成一个重要里程碑，笔者感慨真的不容易。 2018年10月19号通过公众号发布第一篇文章，到今天为止，公众号已经发表了145篇原创文章，坚持真的很难，但只要能坚持，就一定会有好的收获，这不，你瞧，1W个人与你一起同行，这成就不可谓不大。 在持续坚持努力下，我出版了《RocketMQ技术内幕》一书，从一家名不经传的小公司顺利跳槽到快递物流头部企业：中通快递，让我能在更高的平台上发光发热，使我深深的认识到： 越努力越幸运，唯有坚持不懈 。希望能用这句话与各位粉丝朋友共勉，相互交流，共同成长。 相信各位读者朋友们也能直观的感受到『中间件兴趣圈』主要发表的文章都比较枯燥，因为大部分都是以源码分析为主，认真读完一篇文章需要极大的耐心，我从后台的统计数据上看到，每篇文章的读完率其平均值在50%左右，这足以说明大家拥有强烈的求知欲望，这里必须有掌声，为各自点个赞吧。与各位优秀的读者同行，是我的一大荣幸，未来继续加油。 『中间件兴趣圈』的定位是记录笔者的学习历程与成长历程，同时也起到驱动笔者去学习，给自己提的要求是尽最大努力保证一周一篇原创文章。 绝不注水、绝不洗稿，这是我的初心也是底线。 『中间件兴趣圈

http://xjjdog.cn 对200+原创文章进行了细致的分类，阅读更流畅，欢迎收藏。 原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。任何不保留此声明的转载都是抄袭。 Redis是2009年发布的，到今天已经超过10岁了。作为必备技能之一，关于它也有聊不完的话题。本文中的任何一个点，都可以展开，完成一篇中等规模的文章。 交流和面试时，你需要用最精准的语言进行描述，那么本文比较适合你。 redis能力： 1 0W/s QPS （redis-benchmark） 1w+ 长链接 （netstat / ss） 最复杂的Zset 6kw数据 写入1k/s 读取5k/s 平均耗时5ms 持久化 (rdb) 1. 基本概览 学习一门新语言，重要的是掌握它的基本数据结构，以及这些数据结构的API。redis的这些数据结构，就类似一门语言。 Redis数据结构 常用5种，一共10种。面试时一般回答5种即可，但其他5种是加分项。 String 字符串 Hash 字典 List 列表 Set 集合 ZSet 有序集合。性能参考： 《redis的zset有多牛？请把耳朵递过来》 Pubsub 发布订阅 （不推荐使用，坑很多） Bitmap 位图 GEO 地理位置 （有限使用，附近的人） Stream 流(5.0) （与Kafka非常像） Hyperloglog