Storm集群的搭建与配置

混江龙づ霸主 提交于 2020-01-22 12:44:30

1、安装JDK

安装64位JDK:jdk-6u45-linux-x64-rpm.bin。进入安装目录后,执行以下命令安装:

  ./jdk-6u45-linux-x64-rpm.bin

/etc/profile下配置环境变量:

  #config java

  export JAVA_HOME=/usr/java/jdk1.6.0_45

  export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

  export PATH=$JAVA_HOME/bin:$PATH

 

2、安装Python

把Python-2.7.5.tgz解压到 /usr/Python目录下:

  tar  -zxvf  Python-2.7.5.tgz

  mv  Python-2.7.5  /usr/Python

进入Python目录后,依次执行以下命令进行安装:

     ./configure

  make

  make install

 

3、安装依赖的rpm

如果你的系统可以上外网,则可以使用以下命令在线安装:

  yum install gcc*

  yum install uuid*

  yum install e2fsprogs*

  yum install libuuid*

  yum install libtool*

 

4、安装zeromq

把zeromq-2.1.7.tar.gz拷贝到/usr/zeromq

  tar  -zxvf  zeromq-2.1.7.tar.gz

  mv  zeromq-2.1.7  /usr/zeromq

进入zeromq目录后然后依次执行以下命令

    ./configure

  make

  make install

 

5、安装jzmq

把jzmq.zip拷贝到/usr/jzmq

  unzip jzmq.zip

  mv  jzmq  /usr/jzmq

进入jzmq目录后然后依次执行以下命令

    ./configure

  make

  make install

 

6、安装zookeeper

(1)zookeeper-3.3.5.tar.gz解压到 /usr/zookeeper 目录下

(2)/usr/zookeeper/conf 目录下,把zoo_sample.cfg 重命名为zoo.cfg

(3)修改zoo.cfg 文件中的dataDir 配置路径为:/usr/zookeeper

(4)zoo.cfg 文件的末尾添加以下配置

  server.1=192.168.100.1:2888:3888

  server.2=192.168.100.2:2888:3888

  server.3=192.168.100.3:2888:3888

(5)/usr/zookeeper 文件夹下新增 myid 文件,根据每台服务器的不同,在myid 文件下分别填写

(6)配置环境变量

  #config zookeeper

  export ZOOKEEPER_HOME=/usr/zookeeper

  export PATH=$ZOOKEEPER_HOME/bin:$PATH

7、安装Storm

(1)把storm-0.8.1.zip拷贝到/usr/storm

(2)编辑/usr/storm/conf/storm.yaml,添加如下内容:

 storm.zookeeper.servers:

     - "10.8.3.240"

     - "10.8.3.246"

     - "10.8.3.239"

     - "10.8.3.238"

 - "10.8.3.251" 

 nimbus.host: "10.8.3.240" 

 storm.local.dir: "/usr/storm/tmp"

 storm.zookeeper.port: 2181 

注意:顶格有空格,冒号后面也有空格

 

(3)添加环境变量

  #config storm

  export STORM_HOME=/usr/storm

  export PATH=$STORM_HOME/bin:$PATH

 

 **************************************************************************************** 

 

Storm的启动

1、Nimbus: Storm主控节点上运行"bin/storm nimbus >/dev/null 2>&1 &"启动Nimbus后台程序,并放到后台执行;

2Supervisor: Storm工作节点上运行"bin/storm supervisor >/dev/null 2>&1 &"启动Supervisor后台程序,并放到后台执行;

3UI: Storm主控节点上运行"bin/storm ui >/dev/null 2>&1 &"启动UI后台程序,并放到后台执行,启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。

 

Storm的关闭

Storm  kill toponame} 

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!