topic

参考官网： http://kafka.apache.org/quickstart 一、下载Kafka 官网下载地址 http://kafka.apache.org/downloads 截至2019年7月8日 最新版本为 2.3.0 2.12为编译的scala版本 2.3.0为kafka版本 Scala 2.12 - kafka_2.12-2.3.0.tgz ( asc , sha512 ) 解压 > tar -xzf kafka_2.12-2.3.0.tgz > cd kafka_2.12-2.3.0 二、启动服务 要先启动zookeeper kafka内置了一个 也可以不用 > bin/zookeeper-server-start.sh config/zookeeper.properties [2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig) ... > bin/kafka-server-start.sh config/server.properties [2013-04-22 15:01:47,028] INFO Verifying

1. UV、PV、TopN概念 1.1 UV（unique visitor） 即独立访客数 　　指访问某个站点或点击某个网页的不同IP地址的人数。在同一天内，UV只记录第一次进入网站的具有独立IP的访问者，在同一天内再次访问该网站则不计数。UV提供了一定时间内不同观众数量的统计指标，而没有反应出网站的全面活动。 1.2 PV（page view）页面浏览量或点击量 　　页面浏览量或点击量，是衡量一个网站或网页用户访问量。具体的说，PV值就是所有访问者在24小时（0点到24点）内看了某个网站多少个页面或某个网页多少次。PV是指页面刷新的次数，每一次页面刷新，就算做一次PV流量。 1.3 TopN 　　顾名思义，就是获取前10或前N的数据。 2. 离线计算UV、PV、TopN 　　这里主要使用hive或者MapReduce计算。 2.1 统计每个时段网站的PV和UV hive> select date,hour,count(url) pv, count(distinct guid) uv from track_log group by date, hour; date hour pv uv 20160624 18 64972 23938 20160624 19 61162 22330 2.2 hive中创建结果表 create table db_track_daily_hour

二、环境搭建 参考：http://kafka.apache.org/documentation.html#quickstart Step 1: 下载Kafka wget http://mirrors.noc.im/apache/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz 解压: > tar -xzf kafka_2.9.2-0.8.1.1.tgz > cd kafka_2.9.2-0.8.1.1 复制代码 Step 2: 启动服务 Kafka用到了Zookeeper，所有首先启动Zookper，下面简单的启用一个单实例的Zookkeeper服务。可以在命令的结尾加个&符号，这样就可以启动后离开控制台。 > bin/zookeeper-server-start.sh config/zookeeper.properties & [2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig) ... 复制代码 现在启动Kafka: > bin/kafka-server-start.sh config/server.properties

esp8266自定义工程框架 如何再起官方rtos sdk中规范的建立一个工程了，现在我们基于上一篇博客-esp8266对接阿里云平台做下规范。 首先将user_main.c中mqtt连接部分分离出来，写入user_mqtt.c中，分离是注意头文件包含，及一些全局变量设置。 user_main.c /* This example code is in the Public Domain (or CC0 licensed, at your option.) Unless required by applicable law or agreed to in writing, this software is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. */ #include <stdio.h> //#include "esp_system.h" //#include "freertos/FreeRTOS.h" //#include "freertos/task.h" #include <stddef.h> #include <stdio.h> #include <string.h> #include "esp

开发系统和开发IDE 开发系统： Ubuntu 16.0.4 LTS 开发IDE： Visual Studio Code 版本: 1.32.3 Python版本： Python3 依赖： Django 2.2 资料《Python编程从入门到实践》书籍 链接： https://pan.baidu.com/s/1USkqvL2dLU3Q9XplVaGQJg 提取码：zoyc GitHub: https://github.com/lichangke/Python3_Project/tree/master/learning_log 1. Django入门 Django（http://djangoproject.com/ ） Django是一个Web框架 ——一套用于帮助开发交互式网站的工具。 学习如何使用Django来开发一个名为“学习笔记”（Learning Log） 的项目， 这是一个在线日志系统， 让你能够记录所学习的有关特定主题的知识。 1.1 建立项目 阶段代码：GitHub learning_log_1.1_建立项目 不包括虚拟环境ll_env文件夹下文件 1.1.1 建立虚拟环境 虚拟环境 是系统的一个位置， 你可以在其中安装包， 并将其与其他Python包隔离，将项目的库与其他项目分离是有益的。 为项目新建一个目录， 将其命名为learning_log

RabbitMQ交换机 交换机属性： Name：交换机名称 Type：交换机类型 direct、topic、fanout、headers Durability：是否需要持久化，true为持久化 Auto Delete：当最后一个绑定到Exchange上的队列删除后，自动删除该Exchange Internal：当前Exchange是否用于RabbitMQ内部使用，默认为False Arguments：扩展参数，用于扩展AMQP协议，定制化使用 直流交换机 直连交换机Direct Exchange（完全匹配路由key） 所有发送到Direct Exchange的消息会被转发到RouteKey中指定的Queue 注意：Direct模式可以使用RabbitMQ自带的Exchange：default Exchange，所以不需要将Exchange进行任何绑定（binding）操作，消息传递时，RouteKey必须完全匹配才会被队列接收，否则该消息会被抛弃； 消费端代码 package com . xieminglu . rabbitmqapi . exchange . direct ; import com . rabbitmq . client . Channel ; import com . rabbitmq . client . Connection ; import com .

Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。 1.前言 消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。 1.1 Kafka的特性: - 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 - 可扩展性：kafka集群支持热扩展 - 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 - 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败） - 高并发：支持数千个客户端同时读写 1.2 Kafka的使用场景： - 日志收集

前言 早先过了一遍Kafka，摄取了不少知识细节，未免遗忘梳理记录下，推荐书本 《Kafka 权威指南》。 Quick Start 基础概念 关于Kafka是什么，可以参考 官网介绍 ，一个分布式流处理平台，通俗点理解就是一款基于发布和订阅的消息系统。Kafka设计实现的目标在于： 使用推送和拉取模式解藕生产者和消费者 为消息系统中传递的消息提供数据持久化 通过优化系统实现高吞吐量 系统可以随着数据流的增长进行横向拓展 既然kafka的实质是一个消息系统，类似其他MQ他也有 生产者：消息产生这，向kafka推送消息 消费者：消息的实际使用者，从kafka拉取生产者推送至kafka的消息 Topic：消息主题，亦可理解为消息类型，生产者发送了什么主题的消息，对应订阅了该主题的消费者方可拉取到该消息 Kakfa系统中一些概念 broker：一个独立的kafka服务被称为一个broker 集群：kafka是集群式的提供服务，broker是集群的一个组成部分 分区：一个topic下的至少要包含一个分区，亦可包含多个分区，topic下的消息是存储于分区中的，如图下示。对于给定分区中，消息是按照进入分区的顺序，先到者先被消费。 偏移量：消费者根据偏移量来区分哪些消息已经别消费过。 如果觉得概念枯燥繁多可先忽略。 Kafka部署 先快速将kafka搭建起来，对于kafka系统

1)下载kafka_2.10-0.8.2.1.tgz并解压（整合scala） 2)修改配置文件(可选) config/zookeeper.properties dataDir=/zookeeper 这么写建到d盘根目录 dataDir=zookeeper 这么写建到bin/windows目录 3)启动zookeeper（窗口1) zookeeper-server-start.sh ../config/zookeeper.properties 4)zookeeper测试（窗口2) echo stat | nc 192.168.159.133 2181 5)启动kafka（窗口3) kafka-server-start.sh ../config/server.properties 6)创建topic（窗口4) kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic mytopic 7)查看topic（窗口4) kafka-topics.sh --describe --zookeeper localhost:2181 --topic mytopic Topic:mytopic PartitionCount:3 ReplicationFactor:1

react-router-dom官方示例解读（下） Sidebar 侧边栏 config 路由配置 Query parameters 查询参数 Sidebar 侧边栏 分析 侧边栏这个案例很常见，官方示例里边介绍的除了基础侧边栏，还扩展了一种多处渲染的方式。即当路由匹配到当前url时，可以在应用给程序内任何你想渲染的地方去分别渲染sideber和main，注意下边的map遍历，只有children属性那里有差异 import React from "react" ; import { render } from "react-dom" ; import { BrowserRouter as Router , Switch , Route , Link } from "react-router-dom" ; const routes = [ { path : "/" , exact : true , sidebar : ( ) => < div > home ! < / div > , main : ( ) => < h2 > Home < / h2 > } , { path : "/bubblegum" , sidebar : ( ) => < div > bubblegum ! < / div > , main : ( ) => < h2 > Bubblegum < / h2 >