hadoop集群搭建

首先在win10下搭建好hadoop的环境，hadoop可以运行 解压hadoop2.7.7的安装包和源码包，解压后创建一个空的目录，把解压的源码包，安装包下share/hadoop下的除了kms的目录包外其他包下的所有jar包都拷贝到刚新建的空目录中。大概有120多个 把之前安装win10的hadoop/bin下的hadoop.dll 放到c:windows/system32下,重启电脑 检查之前安装的本地hadoop环境是否配置了hadoop的环境变量和hadoop的HADOOP_USER_NAME默认用root。把hadoop.dll文件放到C盘windows/system32下 在安装eclipse路径下plugins,dropins，把hadoop-eclipse-plugin-2.6.0.jar(可以对应下载自己版本的插件)放到该路径/eclipse/plugins/ 和/eclipse/dropins下，启动eclipse 安装成功 6.在ecplise里面window->preferences里找到 Hadoop Map/Reduce 把本地安装的hadoop路径指定到这。 7.先确认hadoop集群是否启动，然后 在第二步的Map/Reduce Locations里新建 然后点完成，就能看到ecplise连接hadoop了

调优概述 # 几乎在很多场景,MapRdeuce或者说分布式架构,都会在IO受限,硬盘或者网络读取数据遇到瓶颈.处理数据瓶颈CPU受限.大量的硬盘读写数据是海量数据分析常见情况. IO受限例子： 索引 分组 数据倒入导出 数据移动和转换 CPU受限例子： 聚类/分类 复杂的文本挖掘 特征提取 用户画像 自然语言处理 我们需要从硬件规划和软件规划等多方面结合实现性能和效率的提升。 硬件规划 # 评估集群规模 # 我们需要搭建多少节点的hadoop集群？回答这个问题考虑的因素比较多：预算？数据量？计算资源？ 需要多少计算资源可能不是特别好评估，推荐横向扩展，随业务规模和应用发展再考虑扩展。开始可以就按照数据量来评估数据规模，估计一下每天的数据增量？保存数据的周期是多少？有没有冷数据方案？ 假设每天增长的数据为600G、3备份存储，以一年规划为例,大概存储为600G 3 360天=633T, 再考虑增加%20的预留，考虑未来数据增长的趋势，考虑应用计算等空间需求。为节省空间可考虑压缩存储（大概可以节省70%空间）。 同时考虑一定冗余量，如果集群一部分节点不可用也要保证业务正常使用（根据集群规模评估冗余比例）。 然后结合节点硬件规划和预算，确定集群规模。假如我们需要650T存储，可以采用30台12 x 2TB的存储配置或者 60台6 x 2TB配置，但是节点数量翻翻

hadoop 伪分布式（一台）集群搭建 1.安装jdk 1.7以上 –2.安装hadoop 2.8.5 –3.配置/etc/profile，添加 JAVA_HOME=/opt/module/jdk1.8.0_221 HADOOP_HOME=/opt/module/hadoop-2.8.5 PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export PATH #使配置文件生效 source /etc/profile –4.配置 hostnae vi /etc/hosts 192.168.228.128 bigdata 192.168.228.129 bigdata02 192.168.228.130 bigdata03 vi /etc/sysconfig/network HOSTNAME=bigdata vi /etc/hostname bigdata –5.关防火墙 #--关闭防火墙： systemctl stop firewalld.service #--禁用防火墙： systemctl disable firewalld.service #--查看防火墙： systemctl status firewalld.service #--永久关闭 Selinux： vi /etc/selinux

对于我们新手入门学习hadoop大数据存储的朋友来说，首先了解一下云计算和云计算技术是有必要的。下面先是介绍云计算和云计算技术的： 云计算，是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备，主要是基于互联网的相关服务地增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务地交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算也可作为一种商品通过互联网进行流通。 什么是云计算 ？ 什么是云计算技术 ？ 在世界上云计算已经大面流行，有很流行的 Google Drive、SkyDrive、Dropbox 、亚马逊云服务等等。在国内 百度云 存储、360云存储都是比较流行的。 我们就应该会想到大数据存储，目前开源市场上最流行的应该是hadoop分布式存储，已经有大部分互联网公司已经开始使用，例如百度、360、阿里巴巴，其中一部分公司已经把hadoop作为他们的核心产品例如英特尔、IBM并为部分工作提供过大数据的解决方案

我是参照的林子雨老师的Hadoop安装教程做的，更详细的操作步骤可见原文：http://dblab.xmu.edu.cn/blog/install-hadoop/ 一：安装SSH，配置SSH免密登陆： 集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server： 二.配置java环境： 三：安装Hadoop2： 　引用自：http://dblab.xmu.edu.cn/blog/install-hadoop/ 来源： https://www.cnblogs.com/zhangliqiangvictory/p/11460987.html

本人博客开始迁移，博客整个架构自己搭建及编码 http://www.cookqq.com/listBlog.action 本地(独立)模式 Hadoop的默认配置即为本地模式，此时Hadoop使用本地文件系统而非分布式文件系统，而且其也不会启动任何Hadoop守护进程，Map和Reduce任务都作为同一进程的不同部分来执行。因此，本地模式下的Hadoop仅运行于本机。此种模式仅用于开发或调试MapReduce应用程序但却避免了复杂的后续操作。 伪分布式(Pseudo-distributed)模式 hadoop将所有进程运行于同一台主机上，但此时Hadoop将使用分布式文件系统，而且各jobs也是由JobTracker服务管理的独立进程。同时，由于伪分布式的Hadoop集群只有一个节点，因此HDFS的块复制将限制为单个副本，其secondary-master和slave也都将运行于本地主机。此种模式除了并非真正意义的分布式之外，其程序执行逻辑完全类似于完全分布式，因此，常用于开发人员测试程序执行。 完全分布式(Fully distributed)模式 hadoop守护进程运行在一个集群上。 本地(独立)模式 安装过程： 1/首先在官网下载hadoop文件，hadoop-0.20.2.tar.gz 2/系统下要安装jdk 我的系统jdk安装在：JAVA_HOME=/usr/lib

#hadoop 开发环境搭建 （ubuntu + idea ） @(hadoop笔记)[idea|开发环境] 基于 ubuntu 和 idea 搭建 hadoop开发环境，其实是搭建MR的开发环境。这里简单说一下为什么采用idea，就因为一点，idea比eclipse爽的太多，虽然eclipse有hadoop插件，但是能用idea解决战斗，我宁愿牺牲一点的便利性。 [TOC] ##目的 首先，抛出该开发环境需要达到的目的和效果。 支持debug ：首要目的！必须达到！不能调试的程序永远是程序员的噩梦。 单元测试 ：方便微调代码逻辑之后的回归测试。 提交到远程集群 ：可选，这个可以增加便利性。 基于以上三点，展开对开发环境的搭建。 ##hadoop本地client环境搭建 这个是为了方便本地操作集群，包括管理hdfs和提交作业。由于只是提供了本地客户端的功能，所以配置非常简单（当然，如果远程集群开启了kerberos的话，本地也要初始化相应的Keytab） 第一步：下载与远程集群版本一致的hadoo的tar包，解压 第二步：配置环境变量 vi /etc/profile #配置java环境 export JAVA_HOME=/opt/jdk1.7.0_79 export PATH=$PATH:$JAVA_HOME/bin #配置hadoop环境，HADOOP_CONF

目录 一、下载和配置 1. 下载 2. 配置 二、hbase命令行基本操作 HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目，是横向扩展的。该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式的文件系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。 说明：三台机器的主机名分别为：bigdata.centos01、bigdata.centos02、bigdata.centos03，其中centos01上面部署活动的master和regionserver，centos02上面部署后备的master以及regionserver，centos03上部署regionserver。Hbase安装配置是基于单namenode节点服务配置。 Hbase需要依赖HDFS已经zookeeper，在安装前要确保Hadoop和zookeeper已经安装。如果没有安装Hadoop和zookeeper，请参阅： Hadoop集群搭建 和 zookeeper的配置和分布式部署 。 一、下载和配置 1. 下载 # 由于下载的Hadoop是cdh5.3.9，故而hbase也下载的是cdh5.3.9 wget

前两天在破船(K650D)上试图搭建Hadoop伪分布式失败(一直报3.1.2 hadoop-master: ssh: Could not resolve hostname hadoop-master: Name or service not known)，现在 来源： https://www.cnblogs.com/earsonlau/p/11421749.html

系统准备 Centos6.5 Windows10 相关软件包下载： 链接：https://pan.baidu.com/s/1EOLUphwZgzwSX01HsDJM0g 提取码：1tsf 说明 特别说明: 教程用的主机名分别为master,slave1,slave2 所以发现有出现主机名为 ” spark1”的主机名 等同于 “master”如果如果看见配置文件为spark1,一定要修改成master ;有些图片是后面添加的才出现主机名不一致但并不影响理解. 没有特别说明操作都是在 master 机器操作 关闭防火墙 关闭Linux和Windows的防火墙（防止机器之间应为防火墙拦截而不能连通） Windows： window系统: 控制面板 -> 系统和安全 ->Windows Defender 防火墙 -> 启用或关闭Windows Defender 防火墙 -> 关闭Windows Defender 防火墙 //一般只关闭”专用网络设置”的防火墙就行 Linux： 停止防火墙: service iptables stop 启动防火墙: service iptables start 重启防火墙: service iptables restart 永久关闭防火墙: chkconfig iptables off 永久开启防火墙: chkconfig iptables no