cdh

http://archive-primary.cloudera.com/cdh5/parcels/5.3.2/ http://www.cnblogs.com/oftenlin/p/4217670.html http://www.jianshu.com/p/57179e03795f 准备工作 以下步骤要在所有节点上执行 1.1修改hostname vi /etc/sysconfig/network 1.2关闭SELinux 查看SELinux状态getenforce 若SELinux没有关闭，按照下述方式关闭 vi /etc/selinux/config 修改SELinux=disabled。重启生效，可以等后面都设置完了重启主机 1.3关闭防火墙 sudo service iptables stop sudo chkconfig iptables off sudo chkconfig iptables --list 1.4网络配置 vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" BOOTPROTO="static" IPADDR=192.168.1.110 NM_CONTROLLED="yes" ONBOOT="yes" TYPE="Ethernet" DNS1=8.8.8.8 DNS2=8.8.4.4

一、如果在安装过程中因为某些原因没有正常完成安装，你想重新继续安装。 执行： 1、删除文件和目录 rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* 2、重新启用安装程序 二、如果你想彻底卸载Cloudera Manager 和 CDH 软件和数据 。 执行以下步骤： 1、卸载 Cloudera Manager 和 CDH 软件 2、删除 Cloudera Manager 和 CDH 数据 1、卸载 Cloudera Manager 和 CDH 软件 步骤1、停止所有服务 步骤2、 删除parcels包裹， 如果使用parcels的方式安装CDH的话 步骤3、卸载 Cloudera Manager服务 卸载Cloudera Manager Server的命令，取决于你使用什么方式安装Cloudera Manager Server。 如果你使用cloudera-manager-installer.bin文件安装，在c loudera Manager服务主机执行以下命令： /usr/share/cmf/uninstall-cloudera-manager.sh 如果你不是使用cloudera-manager-installer.bin文件安装，则在c loudera Manager服务主机执行以下命令： 1

前言：无论是 CM 或者 CDH 使用的过程中，学习研究 CDH 使用、 CDH 升级、 CM 升级等等原因而考虑卸载 CM 、 CDH ，本教程使用于基于 CM 安装的 CDH 的卸载。当然，如果 CDH 采用独立安装方式安装，在删除对应目录时，更改相应目录即可，主要分为 CM 卸载和 CDH 卸载两部分，理论上使用于 CDH4 和 CDH5 的卸载（新版本如有更改则不适用）。 一、卸载 CM ：（ CM 主机执行） 1 、移除所有服务 
 先在 Cloudera Manager 管理端停止集群所有组件服务，然后删除所有服务。 2、 删除 Manager Server （ 一直选 yes. 卸载不成功执行步骤 3 ） 到 CM 所安装的主机上执行如下命令，需要 root 权限： sudo/usr/share/cmf/uninstall-cloudera-manager.sh 3 、如果没有该脚本，则可以手动删除，先停止服务： 命令如下： sudo service cloudera-scm-server stop sudo service cloudera-scm-server-db stop sudo yum remove cloudera-manager-server sudo yum remove cloudera-manager-server-db 二、卸载 CDH:

CDH is Cloudera’s 100% open source platform distribution, including Apache Hadoop and built specifically to meet enterprise demands. CDH delivers everything you need for enterprise use right out of the box. By integrating Hadoop with more than a dozen other critical open source projects, Cloudera has created a functionally advanced system that helps you perform end-to-end Big Data workflows. 这篇博客用来记录使用CDH安装工具部署集群的实验。 环境基础 硬件 实验集群包括四个节点，每个节点的物理内存16g，硬盘容量40g. 软件 集群四个节点使用的操作系统为Ubuntu 16.04(Xenial). CDH安装工具版本 CM 5.12.0 安装后的各个服务版本号： hadoop: 2.6.0 spark: 1.6.0 using scala version 2.10.5 HBase: 1.2.0

CDH集群添加Kerberos并使用Java代码调用HDFS和Spark on YARN 2018-04-12 21:58:50 小小Tiny 阅读数 1289 更多 分类专栏： 大数据 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://blog.csdn.net/gx304419380/article/details/79917321 0x0 背景 由于CDH默认的权限管理机制过于简单，不能够保证HADOOP集群的安全性，因此，引入了Kerberos作为安全管理服务。 0x1 安装kerberos服务 CDH提供了关于整合kerberos服务的向导，在整合kerberos之前，必须要有kerberos服务。下面，介绍一下如何安装kerberos服务。 1. 安装kerberos server和kdc（Key Distribution Center） $ sudo apt-get install krb5-kdc krb5-admin-server $ sudo dpkg-reconfigure krb5-kdc 安装过程中会问你设置默认realm，一般设置域名大写，例如： EXAMPL.COM 2. 安装完成后，会生成一些配置文件，常用的如下： 默认的KDC配置文件路径： /etc/krb5kdc

最近自己掏了三台二手主机，自己搭建了套CDH的集群，搭建是随手起了几个主机名就搭建好了。 有次突发奇想，用手机登录管理cm管理页面看看，果真能用。只是在里面点着点着，发现cdh很多页面链接都是用的主机名，而我的手机又是无法修改hosts。 后来又想到自己有一个域名，于是就在想把我的主机名都命名为我的二级域名，然后再把域名映射到我的节点的内网IP上。 于是动手开始修改，先是上网查资料如何修改cdh的主机名，然并卵。后来就自己摸索着如何修改。 首先想到的是去cdh管理界面找有没有直接修改的地方，找遍所有地方都没有修改的地方。 只有靠自己了，然后理了下思路，首先得停止集群，cloudera mangage不用停止，然后去修改各节点的hosts文件，还有就是把所有节点中的/opt/cm-5.3.1/etc/cloudera-scm-agent/config.ini中的server_hosts,然后切换到cm的主页神奇的发现有提示重新部署配置文件，然后重新部署配置文件，重启集群，神奇的就OK了。 重启集群之后，出现了个小问题，hive无法连接元数据库，这是因为修改主机名后hive需要修改连接元数据库的主机名，进入hive的配置 修改之即可。 hive元数据库里（我的是用的mysql）面有存分区信息，及分区dfs地址，需要修改，有两个表 SDS和DBS OK，目前为止就这些

一、场景描述 在采用Cloudera-Manager安装cdh时，通常使用内嵌的PostgreSQL数据库。 Cloudera-Manager除了保存CDH集群的配置元数据的scm数据库外，还为Activity Monitor（活动监控）、Service Monitor（服务监控）、Report Manager（报告管理）、Host Monitor（主机监控）、Cloudera Navigator（Cloudera导航）等信息分别创建数据amon、smon、rmon、hmon、nav相应的数据。 如果你运行了Hive服务， Cloudera-Manager还会创建hive数据库用于保存hive metastore即建表的元数据等。 二、数据库的密码位置 ： scm数据库的用户名，密码 more /etc/cloudera-scm-server/db.properties 其他数据库（如amon,hmon,smon,rman,nav）的用户名、密码 more /etc/cloudera-scm-server/db.mgmt.properties 数据库管理者（相当于oracle DBA）cloudera-scm的用户名、密码 /var/lib/cloudera-scm-server-db/data/generated_password.txt hive数据库的用户名、密码 You

—— 原文发布于本人的微信公众号“大数据与人工智能Lab”（BigdataAILab），欢迎关注。 Cloudera是Hadoop生态系统中，规模最大、知名度最高的公司。Cloudera对Hadoop进行了封装，简化安装过程，使用Cloudera可以快速、简单地部署集群，安装所需要的组件，并可以实现对集群的管理和监控。 Cloudera Manager主要提供了四大功能：（1）对集群进行管理，如添加、删除节点等操作；（2）监控集群的健康情况，对各种指标和系统运行情况进行全面监控；（3）对集群出现的问题进行诊断，并给出建议解决方案；（4）对Hadoop的多组件进行整合、集成。 CDH (Cloudera's Distribution, including Apache Hadoop)，是由Cloudera维护的Hadoop分支，基于稳定版本的Apache Hadoop构建的，集成了很多补丁，可直接用于生产环境。 更多详细的介绍，请见 Cloudera 官网 在公司内部机房，由于受网络访问控制的原因，服务器无法直接连接互联网在线安装Cloudera Manager 5和CDH5。下面介绍本地离线安装Cloudera Manager 5和CDH5的过程 一、集群概况 节点 IP 主机名 操作系统 管理节点 172.17.0.1 hd1.hdsite CentOS 6.9 x86_64

这里以四台节点搭建 IP HostName OS 192.168.8.5 h5（主） CentOS 7.5 192.168.8.6 h6（从） CentOS 7.5 192.168.8.7 h7（从） CentOS 7.5 192.168.8.8 h8（从） CentOS 7.5 一、节点基本配置 1.yum 源，这里用阿里的（全部节点） mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo yum makecache 2.编辑 hosts 文件（全部节点） https://www.cloudera.com/documentation/enterprise/6/6.3/topics/configure_network_names.html vim /etc/hosts 192.168.8.5 h5 192

元数据库设计到的服务：scm库：server hive库：hive amon库：cloudera management服务 元数据库要从5.7.24升级到5.7.25，为了避免升级失败导致 集群不可用，我们计划在另一个节点安装5.7.25数据库，然后导入数据，并完成cm数据库切换。 1.关闭hive、clouderamanagement服务 2.关闭主节点server、所有节点agent进程 3.备份my.cnf和mysql里面的数据 cp /etc/my.cnf /etc/my.cnf.bak mysqldump -uroot -proot --all-databases > mysqlbak.sql 4.安装mysql、初始化、启动、设置root密码、倒入数据、查看用户、创建用户、授予用户权限； ll mysql-community-common-5.7.25-1.el7.x86_64.rpm mysql-community-libs-compat-5.7.25-1.el7.x86_64.rpm mysql-community-client-5.7.25-1.el7.x86_64.rpm mysql-community-libs-5.7.25-1.el7.x86_64.rpm mysql-community-server-5.7.25-1.el7.x86_64.rpm #安装