flume

1.安装 1）下载：wget http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz 解压tar -zxvf apache-flume-1.6.0-bin.tar.gz 创建软链接 ln -s apache-flume-1.6.0-bin flume 2）配置环境变量 vim ~/.bash_profile 加上export FLUME_HOME=/home/hadoop/flume;export PATH=$PATH:$FLUME_HOME/bin 3)验证是否安装成功 flume-ng version，若显示如下类似信息即成功了 Warning: $HADOOP_HOME is deprecated. Warning: $HADOOP_HOME is deprecated. Flume 1.6.0 Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080 Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015 From source

Flume安装 系统要求： 需安装JDK 1.7及以上版本 1、 下载二进制包 下载页面： http://flume.apache.org/download.html 1.7.0下载地址： http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 2、解压 $ cp ~/Downloads/apache -flume - 1.7 .0 -bin . tar . gz ~ $ cd $ tar -zxvf apache -flume - 1.7 .0 -bin . tar . gz $ cd apache -flume - 1.7 .0 -bin 3、创建flume-env.sh文件 $ cp conf/flume-env .sh .template conf/flume-env .sh 简单实例－传输指定文件 场景：两台机器，一台为client，一台为agent，在client上将指定文件传输到agent机器上。 1、创建配置文件 根据flume自身提供的模板，创建flume.conf配置文件。 $ cp conf/flume-conf .properties .template conf/flume .conf 编辑文件flume.conf： $ vi conf/flume

$flume-ng version Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty Error: Could not find or load main class org.apache.flume.node.Application 这里发现是路径不对 将flume_home的路径改回来 export FLUME_HOME=/flume-1.7.0-bin (配置flume的路径) 修改后source /etc/profile bin/flume-ng version Flume 1.8.0-SNAPSHOT Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git Revision: fdc53f338931b96addf06f3f2be59da128656ec0 Compiled by ElonLo on Sat May 20 09:51:46 CST 2017 From source with checksum ac62037ffd07d31791d226537047ae02 来源： CSDN 作者： sydellt 链接： https://blog.csdn.net

1：下载 wget http://mirrors.hust.edu.cn/apache/flume/1.5.0/apache-flume-1.5.0-bin.tar.gz 2：解压 [jifeng@jifeng02 ~]$ cd apache [jifeng@jifeng02 apache]$ ls apache-flume-1.5.0-bin.tar.gz chukwa-incubating-src-0.5.0.tar.gz [jifeng@jifeng02 apache]$ tar zxf apache-flume-1.5.0-bin.tar.gz 3：配置环境变量 在 .bash_profile最后加上下面三行 export FLUME_HOME=$HOME/apache/apache-flume-1.5.0-bin export FLUME_CONF_DIR=$FLUME_HOME/conf export PATH=$PATH:$FLUME_HOME/bin [jifeng@jifeng02 ~]$ vi .bash_profile export PATH=$PATH:$ANT_HOME/bin:$HIVE_HOME/bin::$HBASE_HOME/bin:$PIG_HOME/bin:$HADOOP_HOME/bin:$SQOOP_HOME/bin export

我在启动Flume对hdfs写入时报如下错误: ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:447) - process failed java.lang.NoClassDefFoundError: org/htrace/Trace at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:214) at com.sun.proxy.$Proxy12.create(Unknown Source) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.create(ClientNamenodeProtocolTranslatorPB.java:295) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79193639 ng脚本问题，解决办法：增加如下红色字体 add_HBASE_paths() { local HBASE_IN_PATH=$(PATH="${HBASE_HOME}/bin:$PATH" \ which hbase 2>/dev/null) if [ -f "${HBASE_IN_PATH}" ]; then info "Including HBASE libraries found via ($HBASE_IN_PATH) for HBASE access" # determine HBASE java.library.path and use that for flume local HBASE_CLASSPATH="" local HBASE_JAVA_LIBRARY_PATH=$(HBASE_CLASSPATH="$FLUME_CLASSPATH" \ ${HBASE_IN_PATH} org.apache.flume.tools.GetJavaProperty \ java.library.path 2>/dev/null | grep hbase ) 来源： CSDN 作者： 冰 河 链接： https://blog.csdn.net

1.下面这个问题挺坑的 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ ERROR - kafka.utils.Logging$ class . error (Logging.scala: 97 )] Failed to collate messages by topic, partition due to : Failed to fetch topic metadata for topic: test (SinkRunner-PollingRunner-DefaultSinkProcessor) [ ERROR - kafka.utils.Logging$ class . error (Logging.scala: 103 )] Producer connection to DEV33: 9092 unsuccessful java.nio.channels.UnresolvedAddressException (SinkRunner-PollingRunner-DefaultSinkProcessor) [WARN - kafka.utils.Logging$ class .warn(Logging.scala: 89 )] Failed to send producer request with correlation id

输入flume-ng version 启动flume时报错Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty,但似乎已经启动. 这时我们可以去hbase中修改hbase-env.sh文件,把配置注释掉一行 #Extra Java CLASSPATH elements. Optional. #export HBASE_CLASSPATH=/home/bigdata/hadoop/etc/hadoop 2、或者将HBASE_CLASSPATH改为JAVA_CLASSPATH,配置如下 #Extra Java CLASSPATH elements. Optional. export JAVA_CLASSPATH=.: $JAVA_HOME /lib/dt.jar: $JAVA_HOME /lib/tools.jar 问题解决! 来源： CSDN 作者： Over the territory 链接： https://blog.csdn.net/Crystal_1999/article/details/80405465

Flume的安装和配置 一、Flume的介绍 Flume是Cloudera提供的一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 1.Flume的几个核心概念：event、client、flow、agent、source、channel、sink； 2.Flume 运行的核心是 Agent。它是一个完整的数据收集工具，含有三个核心组件，分别是 source、channel、sink。通过这些组件，Event 可以从一个地方流向另一个地方，如图所示: 3.Flume具有高可靠性，当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障：end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。），store on failure（当数据接收方崩掉时，将数据写到本地，待恢复后，继续发送），Best effort（数据发送到接收方后，不会进行确认）。 二、Flume的安装和配置 1.Flume的下载地址： http://flume.apache.org/download.html 下载apache-flume-1.6.0-bin.tar.gz和apache

- 背景 Flume安装配置完成后，在查看Flume版本时出现下图错误 - 解决方案 在网络上查到两种解决方案，特此记录 第一种： 原因： 1、jdk 冲突 2、安装了 hbase 就会报着个错 解决： 1、卸载 openjdk 2、安装 jdk7. 3、将 hbase 的 hbase.env.sh 的一行配置注释掉 #Extra Java CLASSPATH elements. Optional. #export HBASE_CLASSPATH=/home/hadoop/hbase/conf 4、或者将 HBASE_CLASSPATH 改为 JAVA_CLASSPATH, 配置如下 #Extra Java CLASSPATH elements. Optional. export JAVA_CLASSPATH=.: J A V A H O M E / l i b / d t . j a r : JAVA_HOME/lib/dt.jar: J A V A H ​ O M E / l i b / d t . j a r : JAVA_HOME/lib/tools.jar 第二种： flume-ng脚本问题，解决办法：增加如下红色部分 vim flume-ng 本文中是通过第二种方法解决的，但是具体是什么原理，还不太清楚，如果有大牛了解具体原因，希望不吝赐教。 - 参考资料 https: