apache

概述 Kafka 的数据如何传输到HDFS？如果仔细思考，会发现这个问题并不简单。 不妨先想一下这两个问题? 1）为什么要将Kafka的数据传输到HDFS上？ 2）为什么不直接写HDFS而要通过Kafka? HDFS一直以来是为离线数据的存储和计算设计的，因此对实时事件数据的写入并不友好，而Kafka生来就是为实时数据设计的，但是数据在Kafka上无法使用离线计算框架来作批量离线分析。 那么，Kafka为什么就不能支持批量离线分析呢?想象我们将Kafka的数据按天拆分topic，并建足够多的分区，然后通过Spark-Streaming，Flink，又或者是KSql等来处理单个topic中的所有数据--这就相当于处理某一天的所有数据。这种计算的性能从原理上来说是不比Spark或者Hive离线计算差的。 而且更好的是，这样我们就不用将kafka中的数据翻来覆去的导到hdfs，而是直接在kafka上作计算。 后面我们将对此展开更多的讨论，这里先回归正题，在常见的大数据系统架构(lambda)中，通常会将kafka中的数据导入到HDFS来作离线的数据分析。在Kafka的官方wiki中提到了这样的一些方式来对接Hadoop生态。 https://cwiki.apache.org/confluence/display/KAFKA/Ecosystem 其中最常用的是Flume

一、启动脚本分析 独立部署模式下，主要由master和slaves组成，master可以利用zk实现高可用性，其driver，work，app等信息可以持久化到zk上；slaves由一台至多台主机构成。Driver通过向Master申请资源获取运行环境。 启动master和slaves主要是执行/usr/dahua/spark/sbin目录下的start-master.sh和start-slaves.sh，或者执行 start-all.sh，其中star-all.sh本质上就是调用start-master.sh和start-slaves.sh 1.1　start-all.sh #1.判断SPARK_HOME是否有值，没有将其设置为当前文件所在目录的上级目录 if [ -z "${SPARK_HOME}" ]; then export SPARK_HOME ="$(cd "`dirname "$0"`"/..; pwd)" fi # 2.执行${SPARK_HOME}/sbin/spark- config.sh，见以下分析 . "${SPARK_HOME}/sbin/spark-config.sh" #3.执行"${SPARK_HOME}/sbin"/start-master.sh，见以下分析 "${SPARK_HOME}/sbin"/start- master.sh # 4.执行"

讨论QQ：1586558083 目录 一、启动脚本分析 1.1　start-all.sh 1.2　start-master.sh 1.3　spark-config.sh(1.2的第5步) 1.4　load-spark-env.sh(1.2的第6步) 1.5　spark-env.sh 1.6　spark-daemon.sh 1.7　spark-class 1.8　start-slaves.sh 1.9　转向start-slave.sh 二、其他脚本 2.1　start-history-server.sh 2.2　start-shuffle-service.sh 2.3　start-thriftserver.sh 正文 回到顶部 一、启动脚本分析 独立部署模式下，主要由master和slaves组成，master可以利用zk实现高可用性，其driver，work，app等信息可以持久化到zk上；slaves由一台至多台主机构成。Driver通过向Master申请资源获取运行环境。 启动master和slaves主要是执行/usr/dahua/spark/sbin目录下的start-master.sh和start-slaves.sh，或者执行 start-all.sh，其中star-all.sh本质上就是调用start-master.sh和start-slaves.sh 1.1