Kafka

本文转载自微信公众号「小鹿动画学编程 」，作者小鹿 。转载本文请联系小鹿动画学编程公众号。 HTTP 缓存，对于前端的性能优化方面来讲，是非常关键的，从缓存中读取数据和直接向服务器请求数据，完全就是一个在天上，一个在地下。 我们最熟悉的是 HTTP 服务器响应返回状态码 304，304 代表表示告诉浏览器，本地有缓存数据，可直接从本地获取，无需从服务器获取浪费时间。 至于为什么被缓存，如何命中缓存以及缓存什么时候生效的，我们却很少在实际开发中去了解。今天小鹿借助动画形式来从根上理解 HTTP 缓存机制及原理。 为什么会有缓存? 单纯的从计算机角度去说，比较抽象，咱们看一个实际的例子。比如，我们通常喜欢把没看完的书放在书架上，而看完以及没有看的书放在箱子中保存。 如果我们把所有的书保存在箱子中，每次看书都要去箱子中找，所以非常麻烦和耗时(这里的箱子，可以想象成服务器)。 当我们开始看新书时，第一次从箱子中取出，看了一半，然后我们直接放到书架上，当下次再看书的时候，直接从书架中取出，这里的书架，就是我们下边要讲到的缓存(一个缓存仓库)。 缓存的“龟”则 当浏览器发出请求到数据请求回来的过程，就像是上述中的取书过程。 浏览器在加载资源时，根据请求头的Expires 和 Cache-control 判断是否命中强缓存，是则直接从缓存读取资源，不会发请求到服务器。 如果没有命中强缓存

本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产 TB 级的日志监控系统。在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。 然而在生产上跑着成百上千个服务，每个服务都只会简单的本地化存储，当需要日志协助排查问题时，很难找到日志所在的节点。也很难挖掘业务日志的数据价值。 那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。 我们的解决方案 通过上面的需求我们推出了日志监控系统，如上图： 日志统一收集、过滤清洗。 生成可视化界面、监控，告警，日志搜索。 功能流程概览如上图： 在每个服务节点上埋点，实时采集相关日志。 统一日志收集服务、过滤、清洗日志后生成可视化界面、告警功能。 我们的架构 ① 日志文件采集端我们使用 FileBeat，运维通过我们的后台管理界面化配置，每个机器对应一个 FileBeat，每个 FileBeat日志对应的 Topic 可以是一对一、多对一，根据日常的日志量配置不同的策略。 除了采集业务服务日志外，我们还收集了 MySQL 的慢查询日志和错误日志，还有别的第三方服务日志，如：Nginx 等。 最后结合我们的自动化发布平台

摘要：Kafka中的位移是个极其重要的概念，因为数据一致性、准确性是一个很重要的语义，我们都不希望消息重复消费或者丢失。而位移就是控制消费进度的大佬。本文就详细聊聊kafka消费位移的那些事，包括： 概念剖析 kafka的两种位移 关于位移（Offset），其实在kafka的世界里有两种位移： 分区位移：生产者向分区写入消息，每条消息在分区中的位置信息由一个叫offset的数据来表征。假设一个生产者向一个空分区写入了 10 条消息，那么这 10 条消息的位移依次是 0、1、…、9； 消费位移：消费者需要记录消费进度，即消费到了哪个分区的哪个位置上，这是消费者位移（Consumer Offset）。 注意，这和上面所说的消息在分区上的位移完全不是一个概念。上面的“位移”表征的是分区内的消息位置，它是不变的，即一旦消息被成功写入到一个分区上，它的位移值就是固定的了。而消费者位移则不同，它可能是随时变化的，毕竟它是消费者消费进度的指示器。 消费位移 消费位移，记录的是 Consumer 要消费的下一条消息的位移， 切记，是下一条消息的位移！ 而不是目前最新消费消息的位移 假设一个分区中有 10 条消息，位移分别是 0 到 9。某个 Consumer 应用已消费了 5 条消息，这就说明该 Consumer 消费了位移为 0 到 4 的 5 条消息，此时 Consumer 的位移是 5

原作 ：Mohammed M Jubapu 译者 ：机器学习算法与Python实战（公众号ID：tjxj666） 英文 ： https://www.linkedin.com/pulse/skills-build-data-engineering-mohammed-m-jubapu/ 数据工程师是当今市场上最受欢迎的工作之一。数据无处不在，被认为是新时代的能源。公司从不同来源生成大量数据，数据工程师的任务是组织数据信息的收集，处理和存储。但是，要成为一名数据工程师，您需要具备一些出色的技能，例如数据库，大数据，ETL和数据仓库，云计算以及编程语言。但是问题来了，您是否想拥有所有这些技能，或者您想使用所有工具？为简化此操作，让我们抓住机会，直接深入研究数据工程人才市场中的最新技能，这肯定会增加您现有的职业生涯或协助您开始数据工程之旅。 1-精通一种编程语言 是的，编程语言是数据工程的必备技能。多数职位概况要求精通至少一种编程语言。这些语言是ETL或数据管道框架所必需的。通用编程语言是总体上掌握数据工程和管道所需的核心编程技能。比如， Java和Scala 用于在Hadoop上编写MapReduce作业。 Python 是数据分析和管道的流行选择，而 Ruby 也是广泛流行的应用程序粘合剂。 2- Python是最受关注的技能 Python！Python！Python！是的，大约70

消息队列 为什么写这篇文章? 博主有两位朋友分别是小A和小B: 小A，工作于传统软件行业(某社保局的软件外包公司)，每天工作内容就是和产品聊聊需求，改改业务逻辑。再不然就是和运营聊聊天，写几个SQL，生成下报表。又或者接到客服的通知，某某功能故障了，改改数据，然后下班部署上线。每天过的都是这种生活，技术零成长。 小B，工作于某国企，虽然能接触到一些中间件技术。然而，他只会订阅/发布消息。通俗点说，就是调调API。对为什么使用这些中间件啊？如何保证高可用啊？没有充分的认识。 庆幸的是两位朋友都很有上进心，于是博主写这篇文章，帮助他们复习一下关于消息队列中间件这块的要点 复习要点 本文大概围绕如下几点进行阐述: 为什么使用 消息队列 ？ 使用消息队列有什么缺点? 消息队列 如何选型? 如何保证消息队列是高可用的？ 如何保证消息不被重复消费? 如何保证消费的可靠性传输? 如何保证消息的顺序性？ 我们围绕以上七点进行阐述。需要说明一下，本文不是《消息队列从入门到精通》这种课程，因此只是提供一个复习思路，而不是去教你们怎么调用消息队列的API。建议对消息队列不了解的人，去找点消息队列的博客看看，再看本文，收获更大 正文 1、为什么要使用 消息队列 ? 分析:一个用消息队列的人，不知道为啥用，这就有点尴尬。没有复习这点，很容易被问蒙，然后就开始胡扯了。 回答:这个问题

zookeeper 集群搭建 tar zxvf zookeeper-3.4.14.tar.gz cd zookeeper-3.4.14/conf cp zoo_sample.cfg zoo.cfg vi zoo.cfg 在文件末尾加上 server.1=192.168.1.1:3181:3182 server.2=192.168.1.2:3181:3182 server.3=192.168.1.3:3181:3182 说明 ： server. 数字=IP:port1:port2 例如server.1=192.168.1.1 :3181:3182 # server.A=B：C：D 其 中 # A 是一个数字，表示这个是第几号服务器，叫做myid或sid； # B 是这个服务器的 ip地址； # C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口； # D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader， 而这个端口就是用来执行选举时服务器相互通信的端口。 即在192.168.1.1服务上 cd /tem/zookeeper 目录下 vi myid 创建这个文件该文件填写 数字 1 其他服务依此类推 启动zookeeper cd zookeeper/bin sh zkServer.sh start

redis 的基本操作方法 1.redis 的连接 ： //实例化redis $redis = new Redis(); //连接 $redis->connect('127.0.0.1', 6379); //检测是否连接成功 echo "Server is running: " . $redis->ping(); // 输出结果 Server is running: +PONG 2.redis 操作 Strng (字符串): // 设置一个字符串的值 $redis->set('cat', 111); //获取一个字符串的值 echo $redis->get('cat'); // 111 // 重复set $redis->set('cat', 222); echo $redis->get('cat'); // 222 3.redis 操作 List (列表): //存储数据到列表中 $redis->lpush('list', 'html'); $redis->lpush('list', 'css'); $redis->lpush('list', 'php'); //获取列表中所有的值 $list = $redis->lrange('list', 0, -1); print_r($list);echo '<br>'; // Array ( [0] => php [1] => css

初识 Knative: 跨平台的 Serverless 编排框架 快速入门 初识 Knative 在阿里云上一键安装 Knative 手动安装 Knative Serving Hello World Eventing Hello World Tekton Hello World Serving 进阶 自动扩缩容 - Autoscaler Serving 健康检查机制分析 流量灰度和版本管理 服务路由管理 WebSocket 和 gRPC 服务 Serving Client 介绍 Eventing 进阶 定义无处不在的事件 - CloudEvent 关于 Broker/Trigger 事件模型 事件注册机制 - Registry Parallel 解析 Sequeue 解析 云原生实践 日志和监控告警 调用链管理 使用 GitHub 事件源 基于 Kafka 实现消息推送 基于 MN 来源： oschina 链接： https://my.oschina.net/u/4410144/blog/4275406

描述 最近在公司部署crontab的时候，突发奇想是否可以用PHP去实现一个定时器，颗粒度到秒级就好，因为crontab最多到分钟级别，同时也调研了一下用PHP去实现的定时器还真不太多，Swoole 扩展里面到实现了一个毫秒级的定时器很高效，后面写一篇，先用PHP去实现一个定时器类，以供学习参考。 实现 在实现定时器代码的时候，用到了PHP系统自带的两个扩展 Pcntl - 多进程扩展 : 主要就是让PHP可以同时开启很多子进程，并行的去处理一些任务。 Spl - SplMinHeap - 小顶堆 一个小顶堆数据结构，在实现定时器的时候，采用这种结构效率还是不错的，插入、删除的时间复杂度都是 O(logN) ，像 libevent 的定时器也在 1.4 版本以后采用了这种数据结构之前用的是 rbtree，如果要是使用链表或者固定的数组，每次插入、删除可能都需要重新遍历或者排序，还是有一定的性能问题的。 流程 说明 1、定义定时器结构，有什么参数之类的. 2、然后全部注册进我们的定时器类 Timer. 3、调用定时器类的monitor方法，开始进行监听. 4、监听过程就是一个while死循环，不断的去看时间堆的堆顶是否到期了，本来考虑每秒循环看一次，后来一想每秒循环看一次还是有点问题，如果正好在我们sleep(1)的时候定时器有到期的了，那我们就不能马上去精准执行，可能会有延时的风险

匿名函数 匿名函数，也叫闭包函数，说白了就是“没有名字的函数”，和一般函数结构一样，只是少了函数名以及最后需要加上分号 ; 。 注：理论上讲闭包和匿名函数是不同的概念，不过PHP将其视作相同的概念。 $func = function() { echo 'Hello World' . PHP_EOL; }; $func(); 匿名函数和普通函数的区分有： 匿名函数也可以作为变量的值来使用。 匿名函数可以从父作用域继承变量，而这个父作用域是定义该闭包的函数（不一定是调用它的函数）。 $message = 'hello'; $example = function () use ($message) { return $message; }; $message = 'world'; echo $example(); 输出：hello 注意：必须使用 use 关键字将变量传递进去才行，具体见 官方文档 。 闭包类 定义一个闭包函数，其实就是实例化一个闭包类( Closure )对象： $func = function() { echo 'hello world' . PHP_EOL; }; var_dump($func); 输出： object(Closure)#1 (0) { } 类摘要： Closure { __construct ( void ) public static