Apache Flume

一些场景需要采集文本内容发送到kafka，flume正好提供了这种解决方案 Flume agent脚本及配置如下 Mac 安装： brew install flume 启动脚本： nohup /usr/local/Cellar/flume/1.9.0/bin/flume-ng agent --conf /data/flume/run/flume/conf/conf.d/ --conf-file /data/flume/run/flume/conf/conf.d/mg-res_test.conf --name mg-res_test -Dflume.codeadmin.logger=INFO,console & linux 安装： http://flume.apache.org/download.html 启动脚本： nohup /data/flume/run/flume/bin/flume-ng agent --conf /data/flume/run/flume/conf/conf.d/ --conf-file /data/flume/run/flume/conf/conf.d/mg-res_test.conf --name mg-res_test -Dflume.codeadmin.logger=INFO,console & 配置说明 /data/flume/run/flume

启动hadoop ./start-all.sh jps 配置flume环境变量 修改/etc/profile export FLUME_HOME=/app/flume-1.5.2 export FLUME_CONF_DIR=$FLUME_HOME/conf export PATH=$PATH:$FLUME_HOME/bin source /etc/profile echo $PATH 设置 flume-env.sh 配置文件 在 $FLUME_HOME/conf 下复制改名 flume-env.sh.template 为 flume-env.sh，修改 conf/ flume-env.sh 配置文件 cp flume-env.sh.template flume-env.sh sudo vi flume-env.sh cp flume-env.sh.template flume-env.sh sudo vi flume-env.sh 修改 flume-conf 配置文件 在 $FLUME_HOME/conf 目录下修改 flume-conf.properties.template 文件，复制并改名为 flume-conf.properties cp flume-conf.properties.template flume-conf.properties sudo vi flume