cdh

一、安装hive 组件安排如下： 172.16.57.75 bd-ops-test-75 mysql-server 172.16.57.77 bd-ops-test-77 Hiveserver2 HiveMetaStore 1.安装hive 在77上安装hive ： # yum install hive hive-metastore hive-server2 hive-jdbc hive-hbase -y 在其他节点上可以安装客户端： # yum install hive hive-server2 hive-jdbc hive-hbase -y 2.安装mysql yum方式安装mysql： # yum install mysql mysql-devel mysql-server mysql-libs -y 启动数据库 ： # 配置开启启动 # chkconfig mysqld on # service mysqld start 安装jdbc驱动： # yum install mysql-connector-java # ln -s /usr/share/java/mysql-connector-java.jar /usr/lib/hive/lib/mysql-connector-java.jar 设置mysql初始密码为bigdata： # mysqladmin -uroot

CDH CDH介绍 Apache Hadoop不足之处 版本管理混乱 部署过程繁琐、升级过程复杂 兼容性差 安全性低 CDH介绍 基于web的用户界面 提供了hadoop的核心 快速搭建hadoop集群 对集群进行管理 方便对hadoop版本升级 新版本的hadoop与hive、habase、kafka、spark等兼容 CDH架构图 CDH安装方式 cloudera manager（推荐） yum rpm tarball CDH下载地址 CDH http://archive.cloudera.com/cdh5/ cloudera manager http://archive.cloudera.com/cm5/cm/5/ cloudera manager cloudera manager是一个管理CDH的端到端的应用 作用 管理 监控 诊断 集成 cloudera manager安装 系统环境准备 网络配置 vi /etc/sysconfig/network vi /etc/hosts SSH免密钥登陆 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.sh/id dsa.pub >>~/.ssh/authorized keys 防火墙关闭 service iptables stop chkconfig iptables off

一、Hive配置Kerberos认证 1、环境说明 系统环境： 操作系统：CentOs 6.6 Hadoop版本： CDH 5.5 JDK版本：1.7.0_67 集群各节点角色规划为： 172.16.57.74 bd-ops-test-74 Hive 172.16.57.75 bd-ops-test-75 Hive 172.16.57.76 bd-ops-test-76 Hive 172.16.57.77 bd-ops-test-77 Hive HiveServer2、HiveMetaStore 2、生成keytab 在 74节点，即 KDC server 节点上执行下面命令： # cd /var/kerberos/krb5kdc/ kadmin.local -q "addprinc -randkey hive/bd-ops-test-77@BIGDATA.COM " kadmin.local -q "xst -k hive.keytab hive/bd-ops-test-77@BIGDATA.COM " 拷贝 hive.keytab 文件到其他节点的 /etc/hive/conf 目录 # scp hive.keytab bd-ops-test-xx:/etc/hive/conf 并设置权限，分别在各节点上执行： cd /etc/hive/conf/;chown hive

一 问题描述 采用package包方式安装cdh时, 安装程序会将impala-shell目录下的所有文件复制到 /usr/lib/ impala-shell下面, 但采用parcels安装时,安装程序并不会创建 /usr/lib/impala-shell目录,也不会复制相应的文件, 所以安装好CDH后,执行 impala-shell会报 impala_shell.py找不到. [root@kthdpp01 hadoop]# impala-shell ls: 无法访问/usr/lib/impala-shell/ext-py/*.egg: 没有那个文件或目录 python: can't open file '/usr/lib/impala-shell/impala_shell.py': [Errno 2] No such file or directory 二 解决方案 mkdir -p /usr/lib/impala-shell/ /opt/cloudera/parcels/CDH/lib/impala-shell cp -r * /usr/lib/impala-shell/ 运行impala-shell命令,可以正常的执行查询 [root@kthdpp01 impala-shell]# impala-shell Starting Impala Shell without

Impala 表使用文本数据文件 Cloudera Impala 支持使用文本文件作为输入输出的存储格式。Text files are a convenient format to use for interchange with other applications or scripts that produce or read delimited text files, such as CSV or TSV with commas or tabs for delimiters. 文本文件在列定义方面同样非常灵活。例如，文本文件中可以包含比 Impala 表中定义的更多的字段，在查询时这些额外的字段会被忽略掉；也可以包含比 Impala 表更少的字段，在查询时这些缺少的字段被视为 NULL 值。你可以包含表中被视为数值或时间戳的字段，然后使用 ALTER TABLE ... REPLACE COLUMNS 来设置为字符串，或者相反。 继续阅读： Impala 文本文件表的查询性能 创建文本文件表 文本文件表的数据文件 加载数据到 Impala 文本文件表 使用 LZO 压缩文本文件 使用 LZO 压缩文本文件前的准备 创建 LZO 压缩文本文件表 Impala 文本文件表的查询性能 数据存放成文本文件是相当笨重的，并且不如二进制格式如 Parquet 高效。通常在这些情况下才在

安装包 CLOUDERA管理安装包 http://archive.cloudera.com/cm5/cm/5/ http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz CDH版本包 CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha1, manifest.json http://archive.cloudera.com/cdh5/parcels/5.13.3/ http://archive.cloudera.com/cdh5/parcels/5.13.3/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel http://archive.cloudera.com/cdh5/parcels/5.13.3/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha1 http://archive.cloudera.com/cdh5/parcels/5.13.3/manifest.json CDH组件安装包 cdh5.13.3-centos7.tar.gz https://archive.cloudera.com

搭建内部仓库使用yum安装cm Creating a Permanent Internal Repository 1,安装httpd yum install httpd 删除/etc/httpd/conf/httpd.conf 里的include 2,下载源文件cm Download the tarball for your OS distribution from the repo-as-tarball archive: Cloudera Manager 5: https://archive.cloudera.com/cm5/repo-astarball/ CDH 5: https://archive.cloudera.com/cdh5/repo-as-tarball/ 解压 Unpack the tarball, move the files to the web server directory, and modify filepermissions. For example, you might use the following commands $ tar xvfz cm5.14.0-centos7.tar.gz $ sudo mv cm /var/www/html $ sudo chmod -R ugo+rX /var/www/html/cm 3

yum 安装cm 主机名 /etc/hosts hostnamectl set-hostname foo-1.dataexa.com hostnamectl set-hostname foo-2.dataexa.com hostnamectl set-hostname foo-2.dataexa.com hostnamectl set-hostname cdh-1.dataexa.com hostnamectl set-hostname cdh-2.dataexa.com cat >> /etc/hosts <<EOF 192.168.2.150 cdh-1.dataexa.com cdh-1 192.168.2.117 cdh-2.dataexa.com cdh-2 EOF 192.168.1.142 foo-1.dataexa.com foo-1 192.168.1.143 foo-2.dataexa.com foo-2 swappiness /proc/sys/vm/swappiness 设置为 10 echo never > /sys/kernel/mm/transparent_hugepage/defrag selinux vi /etc/selinux/config sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc

首先需要启动mysql源数据库 server所在服务器的路径： /opt/cm-5.14.0/etc/cloudera-scm-server 下 查看配置文件：　　 db.properties 查看mysql源数据库配置在哪台服务器，然后去对应服务器启动mysql元数据 service mysqld start 然后去每台服务器下的路径： /opt/cm-5.14.0/etc/init.d 启动agent ： 　　 ./cloudera-scm-agent start　　（每台都需要启动） 启动server：　　./cloudera-scm-server start　　（只需要在一台服务器启动即可） 然后去浏览器输入启动server服务器的ip地址 端口号默认为 7180 ，即可看到集群的状态了 ./cloudera-scm-agent start 来源： https://www.cnblogs.com/yzqyxq/p/11794011.html

我在CDH界面上部署spark2的时候一直都很顺利直到在部署客户端的时候，出现了标题中的错误，之前部署从来没有遇见过好慌呀~ 然后就去找日志 /opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent/process/ccdeploy_spark2-conf_etcspark2conf.cloudera.spark2_on_yarn_1768873247522152195/logs 这真的是各种找啊~~~~最后发现JAVA_HOME它没有去读取我配置的家目录而是有自己默认的家目录/usr/java/default 找到这个思路以后我总不能重新部署java吧那前边部署的那些服务万一出问题岂不得不偿失然后我最终想到了软连接 就是给原来的java的家目录做一个简单的软连接到下图中默认的java的家目录， 解决方式 ln -s $JAVA_HOME(原来的) /usr/java/default 因为还有一种是之前的大佬教的要把java部署成下面的样子，要不然有些软件会出问题，所以我顺便做了一个这样的软连接，这样以防在以后的部署中再出现这种奇怪的问题。 [root@hadoop001 ~]$ echo $JAVA_HOME /usr/java/jdk1.8.0_45 软连接完成以后再在页面上重新部署客户端成功啦 运行spark案例