1. cloudera manager的概念

简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

功能：

1) 管理：对集群进行管理，如添加、删除节点等操作。

2) 监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。

3) 诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。

4) 集成：多组件进行整合。

架构：

1) Server：负责软件安装、配置，启动和停止服务，管理服务运行的群集。核心

2) Agent：安装在每台主机上。负责启动和停止进程，配置，监控主机。

3) Management Service：由一组执行各种监控，警报和报告功能角色的服务。图表的生成和管理

4) Database：存储配置和监视信息。

5) Cloudera Repository：软件由Cloudera 管理分布存储库。（有点类似Maven的中心仓库）；在线安装（从中心仓库拉取）和离线安装（离线库）

6) Clients：是用于与服务器进行交互的接口（API和Admin Console）

2. 准备安装环境

主节点10g 
其他节点2G
其他节点2G
硬盘情况：
[root@hadoop104 ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        47G  5.8G   39G  13% /
tmpfs           4.9G   72K  4.9G   1% /dev/shm
/dev/sda1       190M   39M  142M  22% /boot

1.安装JDK配置环境变量
2. 安装配置mysql
[root@hadoop104 software]# rpm -qa | grep mysql

[root@hadoop104 software]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64
[root@hadoop104 software]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm
# cat /root/.mysql_secret  
Q3MnNS54TvuMpPgU

service mysql start 
[root@hadoop104 software]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm 

3.关闭SELINUX
1)    临时关闭： 
setenforce 0
2)    修改配置文件/etc/selinux/config（重启生效）
将SELINUX=enforcing 改为SELINUX=disabled

4 ssh免密登录
将hadoop104，hadoop105，hadoop106相互之间配置免密登陆

5.下载第三方依赖
在三台节点（所有agent的节点）上执行下载第三方依赖
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl

创建CM用的数据库：

（1）集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
（2）hive数据库 
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;  ##安装Hive时需要创建hive数据库；如果安装失败要把它删除重写创建
（3）oozie数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
（4）hue数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

3. CM安装部署

按装CM
1. 解压cloudera-manager-el6-cm5.12.1_x86_64.tar.gz
[root@hadoop104 module]# mkdir /opt/module/cloudera-manager
[root@hadoop104 module]# tar -zxvf /opt/software/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cloudera-manager/

2. 创建用户cloudera-scm（所有节点，三个节点都创建）
[root@hadoop104 cloudera-manager]# useradd --system --home=/opt/module/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
[root@hadoop104 cloudera-manager]# id cloudera-scm
uid=495(cloudera-scm) gid=492(cloudera-scm) 组=492(cloudera-scm)

　　#####hadoop104、hadoop105、hadoop106都需要创建cloudera-scm用户，否则在Parcel分发状态下，没有创建用户的分发，激活不了；
3. 配置CM Agent
修改文件/opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini
[root@hadoop104 cloudera-scm-agent]# vim config.ini 
[General]
# Hostname of the CM server.
server_host=hadoop104


4. 配置CM的数据库；在主节点创建即可；
    拷贝mysql jar文件到目录 /usr/share/java/
[root@hadoop104 share]# mkdir /usr/share/java/
[root@hadoop104 cm-5.12.1]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/
[root@hadoop104 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar
• 注意jar包名称要修改为mysql-connector-java.jar

    在mysql中创建cm库
[root@hadoop104 cm-5.12.1]# /opt/module/cloudera-manager/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop104 -uroot -p123456 --scm-host hadoop104 scm scm scm
5. 分发到其他机器中
　　xsync cloudera-manager/

创建Parcel-repo目录

创建Parcel-repo 目录
1. Servre 节点创建目录/opt/cloudera/parcel-repo
[root@hadoop104 module]# mkdir -p /opt/cloudera/parcel-repo
[root@hadoop104 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
2.拷贝下载文件到/opt/cloudera/parcel-repo
（1）CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
（2）CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1:需改名为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
（3）manifest.json
[root@hadoop104 cm-5.12.1]# mv /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

[root@hadoop104 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha /opt/cloudera/parcel-repo/

[root@hadoop104 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/

[root@hadoop104 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/

3.在Agent 节点（hadoop102，hadoop103，hadoop104）创建目录/opt/cloudera/parcels
[root@hadoop104 module]# mkdir -p /opt/cloudera/parcels 
[root@hadoop104 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

[root@hadoop105 module]# mkdir -p /opt/cloudera/parcels 
[root@hadoop105 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

[root@hadoop106 module]# mkdir -p /opt/cloudera/parcels 
[root@hadoop106 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

4. 分发Parcel-repo
[root@hadoop104 cloudera]# xsync /opt/cloudera/

启动和关闭CM Server&Agent 服务

服务节点：hadoop104
[root@hadoop104 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server:                              [确定]
工作节点：hadoop104\hadoop105\hadoop106
[root@hadoop104 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent：                              [确定]

[root@hadoop105 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent：                              [确定]

[root@hadoop106 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent：                              [确定]
注意：启动过程非常慢，Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。
[root@hadoop102 init.d]# netstat -anp | grep 7180
tcp        0      0 0.0.0.0:7180                0.0.0.0:*                   LISTEN      5498/java 
查看被占用则表示安装成功了！！！
访问http://hadoop104:7180，（用户名、密码：admin）

关闭：
服务节点：hadoop104
[root@hadoop104 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server stop
停止 cloudera-scm-server：                                 [确定]
工作节点：hadoop104\hadoop105\hadoop106
[root@hadoop104 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent:

自定义安装HDFS、Yarn、Cloudera Management Service

安装Hive

[root@hadoop104 conf]# pwd  //Hive的配置文件位置
/etc/hive/conf

HDFS重新安装的时候要把它的df文件夹给删掉
hive重新安装要把mysql里的hive库删掉；

修改权限问题两种方法：

第一种：

#第二种方式
[hdfs@hadoop104 init.d]$ su - hdfs  ##su用户切换时 加 - 是会把环境也切换过来；建议用这种形式；

[hdfs@hadoop104 init.d]$ hadoop fs -chmod -R 777 /

[hdfs@hadoop104 init.d]$ exit ###不要直接su套用户，先exit结束掉 
　　exit 
[root@hadoop104 init.d]#

hive的启动

[root@hadoop104 ~]# hive  ##启动hive时直接启动；
Java HotSpot(TM) 64-Bit 

[root@hadoop104 ~]# beeline    ##直接启动beeline，不用启动hiveserver2，因为在CDH上hive已经给我们启动了
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
beeline> !connect jdbc:hive2://hadoop104:10000
scan complete in 13ms
Connecting to jdbc:hive2://hadoop104:10000
Enter username for jdbc:hive2://hadoop104:10000: hive  ####用户是启动hiveserver2的用户，而不是root
Enter password for jdbc:hive2://hadoop104:10000: