Ubuntu10.04

Ubuntu10.04LTS配置Hadoop1.0.1+HBase 0.92.0

为君一笑 提交于 2019-12-02 07:03:18
(关于Hadoop的单机和伪分布式配置参见: http://my.oschina.net/unclegeek/blog/40042 )当写这篇文章的时候,最新版的hadoop是1.0.1版本,支持了许多新的特性,使得hbase持久化不易丢失数据。因此改用新的版本作说明: 1.配置前重要的系统设置: 1)像Hbase这样的分布式的数据库,在启动的时候会在系统里打开很多的文件,而普通的系统对打开文件数目的限制比较小,因此如果不改变系统设置,就会引起JAVA虚拟机的IOException。 在/etc/security/limits.conf增加一行: hadoop - nofile 32768 将hadoop替换为你要运行hadoop的用户名字,如果你有多个用户需要运行hadoop,那么就写多行。 2)设置系统允许运行的最大进程数目: 在相同的文件中加入: hadoop soft/hard nproc 32000 同样将hadoop替换为你要使用的用户名称。 3)最后在/etc/pam.d/common-session的最后一行加入: session required pam_limits.so 否则以上的配置不会生效。 2.配置hadoop(先只在master上配置) 1)配置conf/hadoop-env.sh 至少应该在此文件中指定JAVA_HOME=你系统中jdk的安装路径 2