topic

broker.id =0 #每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况 log.dirs=/data/kafka-logs #kafka数据的存放地址，多个地址的话用逗号分割/data/kafka-logs-1，/data/kafka-logs-2 port =9092 #broker server服务端口 message.max.bytes =6525000 #表示消息体的最大大小，单位是字节 num.network.threads =4 #broker处理消息的最大线程数，一般情况下不需要去修改 num.io.threads =8 #broker处理磁盘IO的线程数，数值应该大于你的硬盘数 background.threads =4 #一些后台任务处理的线程数，例如过期消息文件的删除等，一般情况下不需要去做修改 queued.max.requests =500 #等待IO线程处理的请求队列最大数，若是等待IO的请求超过这个数值，那么会停止接受外部消息，应该是一种自我保护机制。 host.name #broker的主机地址，若是设置了，那么会绑定到这个地址上，若是没有，会绑定到所有的接口上，并将其中之一发送到ZK，一般不设置 socket.send.buffer.bytes

HDFS正常启动 zookeeper正常安装 sw目录下的KAFKA解压安装 tar zxvf kafka_2.11-0.11.0.2.tgz mv kafka_2.11-0.11.0.2 ../md/ 配置环境变量 vi ~/.bash_profile export KAFKA_HOME=/home/a/md/kafka_2.11-0.11.0.2 export PATH=$KAFKA_HOME/bin:$PATH source ~/.bash_profile cd ~/md/kafka_2.11-0.11.0.2/config/目录下，修改server.properties,这里要注意启动几个kafka就要配置几个server.properties server.properties主要配置参数 broker.id=0 delete.topic.enable=true 是否可以删除主题 listeners=PLAINTEXT://:9092 默认的端口，如果有多个的话，就要依次在每个server.properties中设置listeners=PLAINTEXT://:9092 server1.properties listeners=PLAINTEXT://:9093，server2.properties listeners=PLAINTEXT://:9094 log.dirs

本文通过学习 参考文档 ，对使用阿里云物联网平台遇到的新概念和新问题进行了一些简单的总结。 产品(Product)和设备(Device) 参考页面： 创建产品 ， 创建设备 定义： 产品 是一组具有相同功能定义的设备 集合 设备 是产品的一个实例，对应着一个 具体的物联网设备 类比OOP 中的概念： 产品 就像是 类 设备 就像是该类对应的 对象 举例： 产品 MateBook X 设备1 张三的MateBook X 设备2 李四的MateBook X 设备3 王五的MateBook X 设备4 垃圾桶里的MateBook X 如何唯一确定一个产品？——产品证书 ProductSecret ProductKey 用于 一型一密 1 烧录方式 如何唯一确定一个设备？——设备证书 ProductKey DeviceName DeviceSecret 用于 一机一密 2 烧录方式 物模型（ TSL ） 参考页面： 什么是物模型 定义： 物模型指将物理空间中的实体数字化，并在云端构建该实体的 数据模型 在物联网平台中，定义物模型即定义 产品功能 完成功能定义后，系统将自动生成该产品的物模型 物模型描述产品 是什么 ，能 做什么 ，可以对外 提供哪些服务 产品功能类型：属性、服务、和事件 属性（Property） 一般用于描述设备运行时的状态，如环境监测设备所读取的当前环境温度等

Getting Start 下载 http://kafka.apache.org/ 优点和应用场景 Kafka消息驱动，符合发布-订阅模式，优点和应用范围都共通 发布-订阅模式优点 解耦合 ： 两个应用不需要相互调用 可扩展性 ： 消费者的个数可实时扩展 实时性 ： 消费者能实时的获取生产者发布的事件 高效 ：减少由于多个消费者请求数据造成的数据计算带来的资源消耗 异步通讯 ：发布-订阅模式是天生的异步通讯 Kafka其他优点 持久化 ： 消息丢失的可控性极高 高性能 ： 磁盘顺序读写性能比内存随机读写还高，每秒10万条消息 高吞吐量 ：每秒上百MB的吞吐量 顺序性 发布-订阅模式应用范围 适合数据一被生产，就需要被处理的情况 适合数据具有潜在消费者的情况 适合无论有没有消费者，数据都在生产的情况 不适合对数据的处理时间有特殊限定的情况 应用场景 最为消息中间件，实现消息队列和消息的发布-订阅，消息驱动的服务 数据总线，一对多的模式 日志收集，消息中间件的一种应用 数据库主从同步 核心概念 Broker 一个Kafka server就是一个Broker 一般情况下，一个Broker独占一台服务器，发挥微服务的优势 服务器资源有限的情况下，需要设计出Broker/Topic/Partition/Replica的最优分配策略，从而充分利用服务器资源 一个broker可以有多个topic

一、rocketMQ是什么 rocketmq是一款低延迟、高可靠、可伸缩、已使用的消息中间件。具有以下特性： 1、支持发布/订阅、点对点（p2p）消息模型 2、同一个队列中支持先进先出（FIFO）和严格的顺序传递 3、支持拉（pull）和推（push）两种消息模式 4、单一队列百万消息的堆积能力 5、支持多种消息协议，比如： JMS 、MQTT 6、分布式高可用的不是架构，满足至少一次消息传递语义 7、提供docker 镜像用于隔离测试和云集群部署 8、提供配置、指标和监控功能丰富的Dashboard 二、专业术语 1、producer 　　生产者、作用是将消息发送到MQ 2、producer group 　　生产者组，多个发送同一类消息的生成者简称为一个生产者组 3、consumer 　　消费者、消费MQ上的消息 4、consumer group 　　消费者组，消费同一类型消息的多个consumer简称一个消费者组 5、topic 　　是一种消息的逻辑分类，比如：订单相关的消息存储在一个topic中、库存相关的消息存储在同一个topic中 6、message 　　是消息的载体，一个message必须指定topic，相当于寄信地址。message还可以设置一个tag 比便于消费者可以基于tag进行过滤消息 7、tag 　　标签，可以被认为是对topic的进一步细化

kafka是什么 kafka中文官网 摘自官网: Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of companies. 意思就是：kafka是用于构建实时数据管道和流应用程序。具有横向扩展，容错，wicked fast（变态快）等优点，并已在成千上万家公司运行。 在我认为：kafka就是一个消息中间件 什么又是消息中间件呢？ 可与OA、ERP集成的免费消息中间件Active Messenger（简称AM）是一款非常实用的企业即时通讯软件。系统提供免费的消息中间件（以com组件的方式提供），开放给第三方程序使用。 以上是百度解释 就是我们用a这个软件的时候要用c这个里面的东西，但是我们没有去直接调用，而是通过b这个软件去使用c里面的东西 常见的消息中间件产品: 1.ActiveMQ 　　ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现。我们在本次课程中介绍

本文主要整理了大数据组件服务的启动与关闭命令，主要包括Hadoop,Spark,HBase,Hive,Zookeeper,Storm,Kafka,Flume,Solr,ElasticSearch。 1、Hadoop集群 （ 1 ）启动方式切换到主节点的hadoop安装目录下的sbin目录下a)/start-dfs .sh ./start-yarn .sh （建议使用）b)./start-all .sh （ 2 ）关闭方式a)./stop-dfs .sh ./stop-yarn .sh （建议使用）b)./stop-all .sh 2、Spark集群 切换到主节点的Spark安装目录下的sbin目录下（1）启动方式./ start - all .sh（ 2 ）关闭方式./stop- all .sh 3、HBase集群 （ 1 ）启动方式 先启动Hadoop集群 ，后启动HBASE #cd $HBASE_HOME/bin #./start-hbase.sh （ 2 ）关闭方式 #cd $HBASE_HOME/bin #./stop-hbase.sh （ 3 ）web访问方式Masterhttp: //192.168.2.12:60010/master-status RegionServerhttp: //192.168.2.12:60030/ 4、Hive hadoop必须已经启动

本文主要整理了大数据组件服务的启动与关闭命令，主要包括Hadoop,Spark,HBase,Hive,Zookeeper,Storm,Kafka,Flume,Solr,ElasticSearch。 1、Hadoop集群 （1）启动方式切换到主节点的hadoop安装目录下的sbin目录下a)/start-dfs.sh ./start-yarn.sh （建议使用）b)./start-all.sh（2）关闭方式a)./stop-dfs.sh ./stop-yarn.sh （建议使用）b)./stop-all.sh 2、Spark集群 切换到主节点的Spark安装目录下的sbin目录下（1）启动方式./start-all.sh（2）关闭方式./stop-all.sh 3、HBase集群 （1）启动方式先启动Hadoop集群，后启动HBASE#cd $HBASE_HOME/bin#./start-hbase.sh（2）关闭方式#cd $HBASE_HOME/bin#./stop-hbase.sh（3）web访问方式Masterhttp://192.168.2.12:60010/master-statusRegionServerhttp://192.168.2.12:60030/ 4、Hive hadoop必须已经启动切换到节点的Hive安装目录下的bin目录（1）启动Hive:./hive

第 3 章 Kafka 工作流程分析 Kafka核心组成 3 . 1 Kafka 生产过程分析 3.1 .1 写入方式 producer 采用 推（push） 模式将消息发布到 broker ，每条消息都被 追加（append） 到 分区（patition） 中 ，属于 顺序写磁盘 （顺序写磁盘效率比随机写内存要高，保障 kafka 吞吐率）。 3.1.2 分区 （ Partition ） 消息发送时都被发送到一个 topic ，其本质就是一个目录，而 topic 是由一些 Partition Logs( 分区日志 ) 组成 ， 其组织结构如下图所示： 我们可以看到，每个 Partition 中的消息都是 有序 的，生产的消息被不断追加到 Partition log 上，其中的每一个消息都被赋予了一个唯一的 offset 值 。 1 ）分区的 原因 （ 1 ） 方便在集群中扩展，每个 Partition 可以通过调整以适应它所在的机器，而一个 topic 又可以有多个 Partition 组成，因此整个集群就可以适应任意大小的数据了； （ 2 ） 可以提高并发，因为可以以 Partition 为单位读写了。 2） 分区的原则 （ 1 ） 指定了 patition ，则直接使用 ； （ 2 ） 未指定 patition 但指定 key ，通过对 key 的 value 进行 hash

这个详细的教程将帮助 你 创建一个简单的 Kafka生产者，该生产者可将记录发布到Kafka集群 。 通过优锐课的java学习架构分享中，在本教程中，我们将创建一个简单的 Java示例，该示例创建一个Kafka生产者。 你 创建一个名为 my-example-topic的新复制的Kafka主题，然后创建一个使用该主题发送记录的Kafka生产者。将向Kafka制作人发送记录。同步发送记录 ， 稍后， 你 将异步发送记录。 在你开始前 本教程的前提条件是命令行中的 Kafka以及Kafka群集和故障转移基础知识。 本教程是系列教程的一部分。 如果不确定什么是卡夫卡，则应从什么开始。 如果 你 不熟悉 Kafka的体系结构，那么建议 你 阅读 Kafka Architecture，Kafka Topics Architecture，Kafka Producer Architecture和Kafka Consumer Architecture。 创建复制的 Kafka主题 #!/usr/bin/env bash cd ~/kafka-training ## Create topics kafka/bin/kafka-topics.sh --create \ --replication-factor 3 \ --partitions 13 \ --topic my-example-topic