hadoop集群搭建

1、将下载好的hadoop-2.6.5.tar.gz安装包，上传至hadoop001节点中的/usr/hadoop/app目录下。 2、解压安装包：tar zxvf hadoop-2.6.5.tar.gz。 4、删除hadoop-2.6.5.tar.gz 5.配置hadoop家目录下的.bash_profile 生效.bash_profile配置 5.配置hadoop-env.sh 6.配置core-site.xml 7.配置hdfs-site.xml 8.配置 slave 9. 向其他节点分发hadoop安装包： 10. 启动所有节点上面的Zookeeper进程 runRemoteCmd.sh "/usr/hadoop/app/zookeeper/bin/zkServer.sh start" zookeeper 11.启动所有节点上面的journalnode进程 runRemoteCmd.sh "/usr/hadoop/app/hadoop/sbin/hadoop-daemon.sh start journalnode" all 12.在hadoop001(主节点)上执行格式化 切换到/usr/hadoop/app/hadoop/ namenode格式化（bin/hdfs namenode -format） 格式化高可用（bin/hdfs zkfc -formatZK）

自己在本机准备安装四台linux环境，我本机安装的是最小化安装（内存分配512M）， 首先配置vi /etc/hosts host名字千万别有* / _等特殊字符，否则当你后面配置好后启动datenode报错： Does not contain a valid host:port authority 安装好一台后，其余三台克隆，克隆后的机器需要修改两处 第一处:vi /etc/udev/rules.d/70-persistent-net.rules 发现最下面有两处网络配置，其中eth1是本机的网络配置，我们删除eth0之后，然后将eth1修改为0， 第二处:vi /etc/sysconfig/network-scripts/ifcfg-eth0 删除网关和UUID即可 然后重启机器就可以了 安装集群之前首先安装jdk环境，本次以jdk1.7为例 点击打开链接 为了同时对机器进行操作，我们需要配置免密登陆 点击打开链接 ， mini版（最小化安装时没有openssh-clients），我们安装下 命令：yum -y install openssh-clients 以上工作做完后开始解压hadoop安装包，大家自己官网下载即可 第一步解压文件： 解压后目录下多个类似 hadoop-2.6.4的文件夹，大家自己下载的解压后对应自己下载后的版本 首先修改vi hadoop-env

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，可以在不了解分布式底层细节的情况下，开发分布式程序，以满足在低性能的集群上实现对高容错，高并发的大数据集的高速运算和存储的需要。Hadoop支持超大文件（可达PB级），能够检测和快速应对硬件故障、支持流式数据访问、同时在简化的一致性模型的基础上保证了高容错性。因而被大规模部署在分布式系统中，应用十分广泛。 本实训的主要目标是让大家学习Hadoop的基本概念如MapReduce、HDFS等，并掌握Hadoop的基本操作，主要包括MapReduce编程（词频统计）、HDFS文件流读取操作、MapReduce迭代等。通过本次实训，建立起对Hadoop云计算的初步了解，后续大家可以通过进阶学习来深入学习Hadoop内部实现机制进行高级的应用开发。 本关任务 词频统计是最能体现MapReduce思想的程序，结构简单，上手容易。 词频统计的大致功能是：统计单个或者多个文本文件中每个单词出现的次数，并将每个单词及其出现频率按照 <k，v> 键值对的形式输出，其基本执行流程如下图所示： 由图可知： 输入文本（可以不只一个），按行提取文本文档的单词，形成行 k 1 , v 1 k 1 , v 1 键值 对具体形式很多，例如 行 数 ， 字 符 ƫ 移 行 数 ， 字 符 ƫ 移 等； 通过Spliting将 k 1 ， v 1 k 1

本机Mac，设置服务器ip的名称。 vim / etc / hosts 增加服务器ip 和 名称的映射关系： 120.xx.xxx.145 hadoop000 方便记忆 利用ssh登陆服务器： Linux上，设置服务器内网ip和服务器名称的映射 「使用阿里云，搭建Hadoop时候应该用内网ip」 同样在/etc/hosts中修改，服务器名hadoop000 创建相关的文件夹 mkdir hadoop mkdir software 存放软件安装包 mkdir app 存放软件的安装目录 mkdir data 存放使用的数据 mkdir lib 存放开发的jar mkdir shell 存放项目中的脚本 mkdir maven_resp 存放使用到的maven依赖 Hadoop安装前置要求 Java 1.8 （我用的Java11） 、 ssh Java和ssh的配置略略 java - version 看到安装的版本号说明安装完成。 ssh 免密登陆配置 ssh - keygen - t rsa 一路回车，在～/.ssh/中： id_rsa ˽Կ id_rsa.pub 公钥 将公钥写入authorized_keys cat id_rsa . pub >> authorized_keys chmod 600 authorized_keys 注意： a. Hadoop集群中各个节点之间的访问

玩转大数据首先要明确自己将要学习的方向 ，没有人能一下子吃透大数据里面所有的东西。 在大数据的世界里面主要有三个学习方向，大数据开发师、大数据运维师、大数据架构师。 哪个好？我不知道你所说的哪个好？指的是哪一块，这三个都好，谁也离不开谁！ 如果说你的是发展和薪资待遇的话， 大数据开发，大数据挖掘 会好点（大公司）小公司的话基本上都是你的活，所以最好是三个全会，哪怕不是全会，至少简单的一套流程要会，技多不压身能多学点就多学一点，肯定对你的工作和以后的发展肯定是有帮助的！ 什么是大数据开发工程师 大数据开发： 也就是去网络上找数据，各大平台，用爬虫去爬取，建库 围绕大数据系平台系统级的研发人员， 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。 深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如：Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。如果你对大数据开发感兴趣，想系统学习大数据的话，可以加入大数据技术学习交流扣群：数字522数字189数字307，私信管理员即可免费领取开发工具以及入门学习资料 通过学习一系列面向开发者的Hadoop、Spark等大数据平台开发技术，掌握设计开发大数据系统或平台的工具和技能

1.安装ssh免密登录 命令：ssh-keygen overwrite(覆盖写入)输入y 一路回车 将生成的密钥发送到本机地址 ssh-copy-id localhost （若报错命令无法找到则需要安装openssh-clients） 测试免密设置是否成功 ssh localhost 确定JDK版本 切换到root用户，根据结果卸载java yum -y remove java-1.8.0-openjdk-headless.x86_64 yum -y remove java-1.7.0-openjdk-headless.x86_64 换回hadoop用户，命令：su hadoop 查看下当前目标文件，命令：ls 新建一个app文件夹，命令：mkdir app 将桌面的hadoop文件夹中的java及hadoop安装包移动到app文件夹中 命令： 创建软连接 配置jdk环境变量 切换到root用户 输入 　 　export JAVA_HOME=/home/hadoop/app/jdk1.8.0_141 　　export JAVA_JRE=JAVA_HOME/jre 　　export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_JRE/lib 　　export PATH=$PATH:$JAVA_HOME/bin 保存退出，并使/etc/profile文件生效

1、 本地模式 ：默认模式 　　- 不对配置文件进行修改。 　　- 使用本地文件系统，而不是分布式文件系统。 　　- Hadoop不会启动NameNode、DataNode、ResourceManager、NodeManager等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。 　　- 用于对MapReduce程序的逻辑进行调试，确保程序的正确。 2、 伪分布模式 ：等同于完全分布式，只有一个节点 　　- 分为在HDFS上执行和在YARN上执行 　　- Hadoop启动NameNode、DataNode、ResourceManager、NodeManager这些守护进程都在同一台机器上运行，是相互独立的Java进程。 　　- 在这种模式下，Hadoop使用的是分布式文件系统，各个作业也是由ResourceManager服务，来管理的独立进程。在单机模式之上增加了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。类似于完全分布式模式，因此，这种模式常用来开发测试Hadoop程序的执行是否正确。 　　- 修改配置文件： HDFS上： 　　hadoop-env.sh（JAVA_HOME）、core-site.xml（配置Namenode，Hadoop集群的特性，作用于全部进程及客户端）、hdfs-site.xml

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_35488412/article/details/91042033 Hadoop集群运维 场景1：namenode节点故障，active namenode节点状态切换？如何恢复？ 1.1 Hadoop HA 的namenode状态切换 模拟线上环境测试，namenode进程down掉一个后，active和standby状态名称节点切换正常。 测试步骤：在测试集群把standby namenode进程kill掉，active节点服务正常，不影响hadoop集群服务，数据存储正常。集群恢复正常后再把active namenode进程kill掉，standby状态节点会被切换为active状态namenode，集群服务正常，数据正常。 1.2 namenode故障如何恢复 如果是存放namenode元数据的硬盘损坏： 联系sa更换新的磁盘，从另一台namenode机器上将${hadoop.tmp.dir}/dfs/name文件压缩成tar包，scp到新磁盘上并解压，该文件夹内存放的是集群操作日志EditLog和集群block元数据Fsimage，然后启动namenode进程完成故障恢复。 普通故障故障或cpu等其他硬件故障问题导致namenode进程故障： 联系sa更换损坏硬件

第1章 大数据概述 本章将从故事说起，让大家明白大数据是与我们的生活息息相关的，并不是遥不可及的，还会介绍大数据的特性，以及大数据对我们带来的技术变革，大数据处理过程中涉及到的技术以及大数据典型应用。 第2章 初识Hadoop 本章节将带领大家认识Hadoop以及Hadoop生态系统、Hadoop的发展史、Hadoop的优势、Hadoop的三个核心组件、Hadoop发行版的选择，为后续深入讲解Hadoop打下坚实的基础。 第3章 分布式文件系统HDFS 本章将从Hadoop的设计目标、架构及文件系统命令空间出发，快速搭建单节点伪分布式HDFS的实验环境，通过讲解使用hdfs shell以及Java API的方式操作HDFS文件系统，详细分析HDFS文件的读写流程，并通过HDFS API来实现词频统计案例，使得大家对Hadoop分布式文件系统HDFS有深刻的认识以及实战。 ... 第4章 分布式计算框架MapReduce 本章将从架构、编程模型等角度带大家认识Hadoop的分布式计算框架MapReduce，掌握MapReduce各个核心组件编程，并通过两个案例让大家深入掌握MapReduce编程的方方面面。 第5章 资源调度框架YARN 本章将从YARN的产生背景、YARN的架构及执行流程的角度带大家认知Hadoop的资源调度框架YARN

Hadoop-集群网络配置 总体目标：完成zookeeper+Hadoop+Hbase 整合平台搭建 进度： 1： 集群网络属性配置 2： 集群免密码登陆配置 3：JDK的安装 4：Zookeeper的安装 5：Hadoop普通集群模式的安装 6：Hbase普通模式的安装 7：Hadoop HA集群模式的安装 8：Hbase HA集群模式的安装 一. 集群网络属性配置 环境： 1.五台独立PC机或虚拟机 2.主机之间有有效的网络连接 3.每台主机内存2G以上,磁盘50G 4.所有主机上已安装CentOS 7.4_64操作系统 五台主机网络选择： 1.静态网络配置： 注意：1）该项的所有操作步骤需要使用root用户进行。 命令： # 设置该网络为开机自动启动 # 设置采用静态IP模式 #该网络的IP地址，可以使用DHCP获得的IP地址，也可以自行规划 #该网络的子网掩码 #该网络的网关地址 Esc 退出编辑模式，:wq 保存退出。 #service network restart #ip addr .主机名配置： 注意： 命令： #cd /etc/ #vi hostname 3.防火墙配置： 有两种方法，请根据工作需要还是实验需要来选择： 1）如果是生产环境请务必按照第一种方案配置防火墙策略 2）实验环境就用第二种方法直接关闭防火墙。 方法1：配置防火墙策略 命令：