linux安装flume及问题

99封情书 提交于 2019-12-05 03:35:48

1.安装

1)下载:wget http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz

解压tar -zxvf apache-flume-1.6.0-bin.tar.gz

创建软链接 ln -s apache-flume-1.6.0-bin flume

2)配置环境变量

vim ~/.bash_profile

加上export FLUME_HOME=/home/hadoop/flume;export PATH=$PATH:$FLUME_HOME/bin

3)验证是否安装成功

flume-ng version,若显示如下类似信息即成功了

Warning: $HADOOP_HOME is deprecated.

Warning: $HADOOP_HOME is deprecated.

Flume 1.6.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080
Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015
From source with checksum b29e416802ce9ece3269d34233baf43f
4)基本概念:

Flume由source,channel,sink三部分组成

Agent:使用JVM运行Flume,一般每台机器启动一个agent,一个agent可以包含多个sources和sinks
Client:产生数据,独立线程

Source:从Client收集数据,并将数据传输给Channel

Sink:从Channel接收数据

Channel:连接source 和sinks,缓存数据

Events:日志记录等

5)问题

如果执行flume-ng 的时候执行报错:Caused by: java.lang.ClassNotFoundException: org.apache.flume.tools.GetJavaProperty

一般来说是由于jdk版本造成的,改为JDK7版本就好了

错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty或者Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty

一般来说是由于装了HBASE等工具的原因

将hbase的hbase.env.sh的一行配置注释掉
# Extra Java CLASSPATH elements. Optional.
#export HBASE_CLASSPATH=/home/hadoop/hbase/conf
2、或者将HBASE_CLASSPATH改为JAVA_CLASSPATH,配置如下
# Extra Java CLASSPATH elements. Optional.
export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


错误参考:http://blog.csdn.net/senvil/article/details/42526947


易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!