Kafka

前言 为了能够实时地了解线上业务数据，京东算法智能应用部打造了一款基于ClickHouse的实时计算分析引擎，给业务团队提供实时数据支持，并通过预警功能发现潜在的问题。 本文结合了引擎开发过程中对资源位数据进行聚合计算业务场景，对数据实时聚合计算实现秒级查询的技术方案进行概述。ClickHouse是整个引擎的基础，故下文首先介绍了ClickHouse的相关特性和适合的业务场景，以及最基础的表引擎MergeTree。接下来详细的讲述了技术方案，包括Kafka数据消费到数据写入、结合ClickHouse特性建表、完整的数据监控，以及从几十亿数据就偶现查询超时到几百亿数据也能秒级响应的优化过程。 ClickHouse ClickHouse是Yandex公司内部业务驱动产出的列式存储数据库。为了更好地帮助自身及用户分析网络流量，开发了ClickHouse用于在线流量分析，一步一步最终形成了现在的ClickHouse。在存储数据达到20万亿行的情况下，也能做到90%的查询能够在1秒内返回结果。 ClickHouse能够实现实时聚合，一切查询都是动态、实时的，用户发起查询的那一刻起，整个过程需要能做到在一秒内完成并返回结果。ClickHouse的实时聚合能力和我们面对的业务场景非常符合。 ClickHouse支持完整的DBMS。支持动态创建、修改或删除数据库、表和视图，可以动态查询、插入

RabbitMQ： 优点：轻量，迅捷，容易部署和使用，拥有灵活的路由配置 缺点：性能和吞吐量较差，不易进行二次开发 RocketMQ： 优点：性能好，稳定可靠，有活跃的中文社区，特点响应快 缺点：兼容性较差，但随意影响力的扩大，该问题会有改善 ActiveMQ： 目前，消息队列在各大互联网平台，尤其是电商平台如京东、淘宝、去哪儿等网站有着深入的应用，主要作用是高并发访问高峰，通过异步消息模式减少网站响应时间，提高系统吞吐量。ActiveMQ作为众多MQ中的一员，而且也是最老牌的一员，有其优势：1）多编程语言多协议支持。2）完全支持JMS1.1和J2EE 1.4规范 3）对Spring的支持,ActiveMQ可以很容易内嵌到使用Spring的系统里面去 4）从设计上保证了高性能的集群。 Kafka： 优点：拥有强大的性能及吞吐量，兼容性很好 缺点：由于“攒一波再处理”导致延迟比较高，有可能消息重复消费 作为一个有着丰富经验的微服务架构师，经常有人问我：“应该选择 MQ 还是 Kafka ？”。基于某些原因，许多开发者会把这两种技术当作等价的来看待。的确，有些案例场景下选择 RabbitMQ 还是 Kafka 没什么差别，但是这两种技术在底层实现方面是有许多差异的。不同场景需要不同的解决方案，选错一个方案能够严重的影响你对软件的设计，开发和维护的能力。

作者：HelloGitHub- 小鱼干 懒人福音是什么？就是省时省事，正如 Waypoint 一样，你不需要在多个平台构建代码即可部署发布应用，它允许你将应用程序构建、部署和发布生命周期定义为代码。Bit 则让你不需要记 git 操作，可在命令行选项预览、自动补全命令。Strimzi 解决了 k8s 等平台跑 Kafka 的烦恼，让你直接用 Strimzi 即可运行 Kafka，当然大厂也不示弱，swift-algorithms 便是苹果开源的算法集合包。 以下内容摘录自微博 @HelloGitHub 的 GitHub Trending 及 Hacker News 热帖（简称 HN 热帖），选项标准： 新发布 | 实用 | 有趣 ，根据项目 release 时间分类，发布时间不超过 7 day 的项目会标注 New ，无该标志则说明项目 release 超过一周。由于本文篇幅有限，还有部分项目未能在本文展示，望周知 🌝 本文目录 本周特推 1.1 免你记命令烦恼 Git CLI：Bit 1.2 浏览器记录员：Headless recorder GitHub Trending 周榜 2.1 高颜值命令行渲染 Markdown 工具：Glow 2.2 一键构建、部署发布工具：Waypoint 2.3 全程工作合集：remote-jobs 2.4 高颜值图片占位解决方案：BlurHash

在前面我们讲过，KafkaProducer是线程安全的，同时其内部还有一个Sender，开了一个后台线程，不断从队列中取消息进行发送。 而consumer，是一个纯粹的单线程程序，后面所讲的所有机制，包括coordinator，rebalance, heartbeat等，都是在这个单线程的poll函数里面完成的。也因此，在consumer的代码内部，没有锁的出现。 //客户端线程 while (true) { ConsumerRecords<String, String> records = consumer.poll(100); 。。。 } 1 2 3 4 5 有兴趣朋友可以关注公众号“架构之道与术”， 获取最新文章。 或扫描如下二维码： 何为coordinator? 去Zookeeper依赖 在0.9以前的client api中，consumer是要依赖Zookeeper的。因为同一个consumer group中的所有consumer需要进行协同，进行下面所讲的rebalance。 但是因为zookeeper的“herd”与“split brain”，导致一个group里面，不同的consumer拥有了同一个partition，进而会引起消息的消费错乱。为此，在0.9中，不再用zookeeper，而是Kafka集群本身来进行consumer之间的同步

前言 以Docker为代表的容器技术缩短了企业应用从开发、构建到发布、运行的整个生命周期。Gartner推测到2022年将会有75%的全球化企业将在生产中使用容器化的应用（当前约为30%）。由于Docker往往难以独立支撑起大规模容器化部署，因此诞生了Kubernetes等容器编排工具，解决了大规模容器的组织和管理难题。 但事实上，Kubernetes的使用体系还是非常复杂的，对于企业的开发运维人员而言，需要具备一定的网络、存储、系统等方面的技术能力。同时在Kubernetes 集群的部署过程中，也需要面临多节点集群搭建维护、网络和存储的选择配置等难题。上述问题是企业在大规模应用的容器化部署和容器编排中不可避免的，科盾亦面临同样的困境。 科盾为什么选择容器化？ 深圳市科盾科技有限公司（下文简称科盾）是全国领先的互联网大数据服务商，是一家专注于网络空间治理领域科研及应用开发的国家高新技术企业，致力于为网安、网信、政府及大中型企业提供大数据互联网舆情监测、网络情报挖掘和企业商情监测等服务，以便及时、精准、全面掌握互联网舆情信息，快速化解舆情危机。同时全面获取网络情报线索和市场竞争情报，为政府机构打击网络违法犯罪、企业提高市场竞争力提供高科技利器。 舆情分析的数据来源几乎覆盖所有互联网平台的公开信息，包括常见的资讯网站和社交媒体、自媒体、短视频等平台。因此构建一套完整精准的舆情监测系统

写在前面 在知乎上看到一条消息，说互联网公司每月对架构师的需求量高达近万人，有点出乎意料。那求职季需求岂不会更多！只要放平心态，调整策略，用心准备，就能抢占先机。那么，对于技术人，尤其是 Java 人来说，到底需要掌握什么技术才能通过筛选呢？这里列出几个流行的技术： 1、JAVA并发编程 对于一个 Java 程序员而言，能否熟练掌握并发编程是判断他优秀与否的重要标准之一。因为并发编程是 Java 语言中最为晦涩的知识点，它涉及操作系统、内存、CPU、编程语言等多方面的基础能力，更为考验一个程序员的内功。 2、Java虚拟机 熟知 Java 虚拟机的工作原理可以大幅提升日常编程的效率，对寻常 Bug 的修复更是轻而易举。同时，这也是Java 技术的重要组成成分之一，是实现技术进阶必不可缺的知识。 3、Nginx Nginx 很火，因为它就像一个万能药，在任何存在性能需求的场合总能找见它的身影，它可以轻松在百万并发连接下实现高吞吐量的 Web 服务。同时，类似于 OpenResty 和 Tengine 这样的第三方模块群，进一步发展出了新生态，使 Nginx 的应用进一步向应用防火墙、CDN 等领域扩展。 4、Spring全家桶 毋庸置疑，Spring 早已成为 Java 后端开发事实上的行业标准，无数的公司选择 Spring 作为基础的开发框架，大部分 Java

Kafka快速入门（八）——Confluent Kafka简介 一、Confluent Kafka简介 1、Confluent Kafka简介 2014年，Kafka的创始人Jay Kreps、NahaNarkhede和饶军离开LinkedIn创立Confluent公司，专注于提供基于Kafka的企业级流处理解决方案，并发布了Confluent Kafka。Confluent Kafka分为开源版和企业版，企业版收费。 2、Confluent Kafka特性 Confluent Kafka开源版特性如下： （1）Confluent Kafka Connectors：支持Kafka Connect JDBC Connector、Kafka Connect HDFS Connector、Kafka Connect Elasticsearch Connector、Kafka Connect S3 Connector。 （2）多客户端支持：支持C/C++、Python、Go、.Net、Java客户端。 （3）Confluent Schema Registry （4）Confluent Kafka REST Proxy Confluent Kafka企业版特性如下： （1）Automatic Data Balancing （2）Multi-DataCenter Replication （3

今年的金九银十已经过去一大半了，在这其中参与过不少面试，2020都说工作不好找，这也是对开发人员的要求变向的提高了。 之前在Github上收获45K+star的Java核心神技（这参数，质量多高就不用我多说了吧）非常全面， 包含基础知识、Java集合、JVM、多线程并发、spring原理、微服务、Netty 与RPC 、Kafka、日记、设计模式、Java算法、数据库、Zookeeper、分布式缓存、数据结构等等内容 非常丰富，已经帮很多人拿下互联网一线公司的offer Java架构师成长笔记： 首先肯定是Java基础复习 SpringBoot快速上手 Web编程探索 SSM从入门到精通 戳这里免费领取，暗号：CSDN 1-3年高级工程师 微服务 并发编程进阶 戳这里免费领取，暗号：CSDN 深入Tomcat底层 JVM深度剖析 3-5年资深高级架构师 中间件&分布式 数据库 戳这里免费领取，暗号：CSDN Spark 除了这套pdf文档，我还为大家准备了一套体系化的架构师学习资料包以及BAT面试资料，供大家参考及学习， 戳这里免费领取，暗号：CSDN 已经将知识体系整理好（源码，笔记，PPT，学习视频）免费领取。 戳这里免费领取，暗号：CSDN 我已经把这些技术好文+面试题和架构视频，放在我的Java架构技术资源群里，群里会各种PDF书籍，也有资深HR可以推荐工作

作者介绍：陈振东，北京银行软件开发部 北京银行是一家城市商业银行，公司价值位列中国区域性发展银行的首位，依托于中国经济的大环境，北京银行的资产总量在全球千家大银行中名列第 61 位，连续六年跻身全球银行业百强。北京银行积极开辟多元化的业务经营，例如北京地区的社保缴纳和医保代发，都是由北京银行在提供服务，在你入职一家公司的时候，收到的医保折子就是来自北京银行。 业务转型驱动分布式架构建设 由于快速的业务发展需求，北京银行在业务转型中对系统架构进行了升级，逐渐向分布式架构进行转移。早在 2016 年，北京银行就开始了对分布式数据库的探索，并于 2018 年正式投产上线了 TiDB 分布式数据库，当时在业内还没有一个比较完善与成熟的体系，我们也是根据银行的安全合规需求建设了两地三中心的部署方案。 如上图所示，在两地三中心部署了 TiDB 分布式数据库集群，采用主从的多活架构，主集群作为生产集群承担日常的生产服务，从集群是建设在西安的异地灾备中心，主从之间是用 Kafka 同步 Binlog 形式进行数据的同步。 在这两年的建设过程中，北京银行与 PingCAP 进行专项的深度合作，这里简单介绍三个方面： 两地三中心 ：在两地三中心的部署方案中，异地中心的网络延时会对整个集群的性能产生较大影响，我们在这层面上对 gRPC 的消息格式进行了压缩，同时利用 Multi-Raft

目录 一、概念理解 （1）产生背景 （2）Kafka的特性 （3）Kafka场景应用 （4）Kafka一些重要设计思想 二、消息队列通信的模式 （1）点对点模式 （2）发布订阅模式 三、Kafka的架构原理 （1）基础架构与名词解释 （2）工作流程分析 （1）发送数据 （2）保存数据 （1）Partition 结构 （2）Message结构 （3）存储策略 （3）消费数据 一、概念理解 Kafka 是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。 （1）产生背景 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战： 如何收集这些巨大的信息 如何分析它 如何及时做到如上两点 以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间