cdh

1_ssh-copy-id.yml --- - hosts: all tasks: - name: deliver id_rsa.pub to client authorized_key: user: "root" key: "{{ lookup('file', '/root/.ssh/id_rsa.pub') }}" state: present exclusive: no 2_download.yml --- - hosts: master tasks: - name: download mysql-connector-java-5.1.47.tar.gz to /root/ get_url: url: "https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz" dest: "/root/" force: yes - name: download manifest.json to /root/ get_url: url: "http://archive.cloudera.com/cdh5/parcels/latest/manifest.json" dest: "/root/" force: yes - name: download CDH-5.16.1-1.cdh5

概念介绍 CDH概览 CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 CDH 提供以下特性： 灵活性：存储任何类型的数据并使用各种不同的计算框架进行操作，包括批处理、交互式SQL、免费文本搜索、机器学习和统计计算。 集成：在一个完整的Hadoop平台上快速启动和运行，该平台与广泛的硬件和软件解决方案一起工作。 安全：处理和控制敏感数据。 可伸缩性：启用广泛的应用程序和规模，并扩展它们以满足您的需求。 高可用性：满怀信心地执行任务关键的业务任务。 兼容性：利用您现有的IT基础设施和投资。 CDH Cloudera Manager 概览 Cloudera Manager 是用于管理cdh集群的端到端应用程序。Cloudera Manager通过向CDH集群的每个部分提供细粒度的可见性并对其进行控制来设置企业部署标准-授权运营商提高性能、提高服务质量、提高遵从性和降低管理成本。使用Cloudera Manager，您可以轻松地部署和集中操作完整的CDH堆栈和其他托管服务。应用程序自动化安装过程，将部署时间从数周减少到分钟

原贴：https://www.cnblogs.com/yy3b2007com/p/10497787.html 服务器环境： centos7 x64 需要安装mysql5.7+ 一、卸载CentOS7系统自带mariadb # 查看系统自带的Mariadb [root@CDH-141 ~]# rpm -qa|grep mariadb mariadb-libs-5.5.44-2.el7.centos.x86_64 # 卸载系统自带的Mariadb [root@CDH-141 ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64 # 删除etc目录下的my.cnf [root@CDH-141 ~]# rm /etc/my.cnf 二、检查mysql是否存在 # 检查mysql是否存在 [root@CDH-141 ~]# rpm -qa | grep mysql [root@CDH-141 ~]# 三、查看用户和组是否存在 1）检查mysql组合用户是否存在 # 检查mysql组和用户是否存在，如无则创建 [root@CDH-141 ~]# cat /etc/group | grep mysql [root@CDH-141 ~]# cat /etc/passwd | grep mysql # 查询全部用户（只是做记录

hapood3.1.2 capacity-scheduler.xml CDH6.2 在配置中输入fair,转成json格式看. yarn资源池配置: CDH--yarn--动态资源池配置 pool_day: pool_night: 来源： https://www.cnblogs.com/hongfeng2019/p/11365862.html

　　纠结了好久，还是花钱了3个4核8G的阿里云主机，且行且珍惜，下面正式进入CDH的搭建hadoop集群的过程。 　　下面安装过程比较长，所以一定要有耐心。 一、CDH介绍 　　以下是官网给的介绍：个人感觉就是对hadoop的继承环境的封装 二、为什么选择CDH？ 　　Cloudera 常年坚持季度发型update版本，年度发行Release版本，更新速度比Aapche官方快，而且在实际使用过程中CDH表现无比稳定。 　　CDH支持yum/apt包，tar包，rpm包，cloudera manager四种方式安装。可以获取最新特性和最新Bug修复，安装维护方便，节省运维时间。另外集群搭建更加方便。 　　• 版本划分清晰 　　 • 版本更新速度快 　　 • 支持Kerberos安全认证 　　 • 文档清晰 　　 • 支持多种安装方式（Cloudera Manager方式） 三、CDH的版本选择　　 　　CDH4.x--->4.8.6 　　CDH5.x ： 优选 5.4.8 5.8.0 5.12.0 不建议选择5.11.0,有坑 （ 这里我选用5.10.0 ） 四、安装准备 1.节点准备 　　由于是个人测试环境，所以购买了3台阿里云的主机，主要配置如下： 　　 2.节点规划 　　h adoop0 01 :mysql cm-server cm-agent Namenode

　　 又是一个周末，本来是已经打开wegame，更新一下许久未碰的lol，后来实在等不下去了，还是想想写写博客，正好最近也在学习CDH；刚刚就像女生买东西一样，毫不犹豫地买了3个云主机，好了，废话不多说，下面我们正式开始CDH搭建大数据平台。 一、Hadoop是什么？ 　　Hadoop是一个分布式系统架构，由Apache基金会开发。用户可以在不理解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。 　　　不足之处：①版本管理混乱 　　　　　　　　②部署过程繁琐，升级过程复杂 　　　　　　　　③兼容性差 　　　　　　　　④安全性低 二、商业版的Hadoop有哪些？ 　　 我们常见的有cloudera（CDH）， hortonworks（HDP），mapR，IBM，华为等，这些公司都在做商业版的hadoop。 三、CDH的介绍 ①介绍 　　 　　　　个人感觉：一个对Hadoop的集成环境的封装。 ②为什么选择CDH版本？ 　　　　Cloudera 常年坚持季度发型update版本，年度发行Release版本，更新速度比Aapche官方快，而且在实际使用过程中CDH表现无比稳定。 　　　　CDH支持yum/apt包，tar包，rpm包，cloudera manager四种方式安装。可以获取最新特性和最新Bug修复，安装维护方便，节省运维时间。另外集群搭建更加方便。

背景 公司搬迁新到新大楼IP地址发生变化以及需要搭建线上数据中心需要重新分配机房ip，便于维护 环境 centos 6.5 CDH 5.13 1.梳理修改相关IP与HostName对应关系 2.cm 停止所有服务 3 停止cm 大数据监控（所有节点） service cloudera-scm-agent stop #需要停止所有的agent service cloudera-scm-server stop 修改数据库（本为mysql 将对应域名的ip 换掉) 命令例子 update hosts set IP_ADDRESS= ‘10.3.3.27’ where name=node1 5、修改所有节点的Agent配置文件 –将server_hosts的值修改为新的CDH Manager管理节点的IP vi /etc/cloudera-scm-agent/config.ini （此处为hostname 修改与否待验证） 8 修改所有节点的/etc/hosts，将IP修改为新的IP 9 重启启动CDH Manager对应的管理进程及Agent服务 service cloudera-scm-server-db restart service cloudera-scm-server start service cloudera-scm-agent start 10 登录cm 启动所以服务验证

1. linux ①禁用透明大页面压缩： echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled ②优化交换分区： 修改文件vim /etc/sysctl.conf 【追加一行】 vm.swappiness = 10 执行生效：sysctl -p /etc/sysctl.conf ③修改文件限制vim /etc/security/limits.conf：【重新登录生效】 * soft noproc 11000 * hard noproc 11000 * soft nofile 4100 * hard nofile 4100 2. zk ①MaxSessionTimeout=120000 不宜过大 3. hdfs ①修改cm中hdfs配置dfs.datanode.max.transfer.threads为8192【默认4096】 ②hdfs文件权限问题： sudo -u hdfs hadoop fs -mkdir /user/root sudo -u hdfs hadoop fs -chown root:root /user/root sudo -u hdfs hadoop fs -ls /user sudo -u

一、概述 Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。 二、安装部署 序号 IP地址 主机名 系统版本 1 172.20.2.222 cm-server centos7.3 2 172.20.2.203 hadoop-1 centos7.3 3 172.20.2.204 hadoop-2 centos7.3 4 172.20.2.205 hadoop-3 centos7.3 2.2.1 基础环境部署 a.修改主机名配置hosts systemctl stop firewalld hostnamectl set-hostname cm-server #更改个主机名 sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config setenforce 0 cat >>/etc/hosts<<EOF #添加各个节点hosts解析 172.20.2.222 cm-server 172.20.2.203 hadoop-1 172.20.2.204