cdh

导读 CDH除了能够管理自生所提供的一些大数据相关服务外，还允许将第三方服务添加到CDH集群（托管在CDH上）。你需要做的就是按照一定的规则流程制作相关程序包，最后发布到CDH上。虽然过程并不困难，但是手动操作尤其是一些关键配置容易出错，往往导致最终服务无法正常在CDH上安装运行。 本文就是指导大家如何打包自己的服务，发布到CDH上，并且由CDH控制服务的运行、监控服务的基本运行状态。 相关介绍 名词介绍 (1)parcel : 以".parcel"结尾的压缩文件。parcel包内共两个目录，其中lib包含了服务组件，meta包含一个重要的描述性文件parcel.json，这个文件记录了服务的信息，如版本、所属用户、适用的CDH平台版本等。 命名规则必须如下 ： 文件名称格式为三段，第一段是包名，第二段是版本号，第三段是运行平台。 例如：FLINK-1.9.0-bin-scala_2.12-el7.parcel 包名 ：FLINK 版本号 ：1.9.0-bin-scala_2.12 运行环境 ：el7 el6是代表centos6系统，centos7则用el7表示 ps : parcel必须包置于/opt/cloudera/parcel-repo/目录下才可以被CDH发布程序时识别到。 (2)csd ：csd文件是一个jar包，它记录了服务在CDH上的管理规则里面包含三个文件目录

这里以四台节点搭建 IP HostName OS 192.168.8.5 h5（主） CentOS 7.5 192.168.8.6 h6（从） CentOS 7.5 192.168.8.7 h7（从） CentOS 7.5 192.168.8.8 h8（从） CentOS 7.5 一、节点基本配置 1.yum 源，这里用阿里的（全部节点） mv / etc / yum . repos . d / CentOS - Base . repo / etc / yum . repos . d / CentOS - Base . repo . backup curl - o / etc / yum . repos . d / CentOS - Base . repo http : //mirrors.aliyun.com/repo/Centos-7.repo sed - i - e '/mirrors.cloud.aliyuncs.com/d' - e '/mirrors.aliyuncs.com/d' / etc / yum . repos . d / CentOS - Base . repo yum makecache 2.编辑 hosts 文件（全部节点） https://www.cloudera.com/documentation/enterprise/6/6.3/topics

最近spark2有同事想用anaconda3做开发，原因是上面可以跑机器学习的库（服务器因为没外网pip装whl确实麻烦） 1、先在每台机器安装anaconda3 2、把用户的~/.bashrc配置进Python的环境变量alias python=/opt/python/bin/python 3、把python配置进spark的配置文件在$sparkhome/lib/spark2/conf/spark-env.sh中最后添加python变量 export PYSPARK_PYTHON=/opt/python/bin/python export PYSPARK_DRIVER_PYTHON=/opt/python/bin/python 安装过程由于anaconda3我是默认安装.会安装到当前用户下/$user/anaconda/下，无论怎么赋值权限，跑spark python yarn模式都会出现权限不足的情况（java.io.IOException: Cannot run program "/root/anaconda3/bin/python": error=13, Permission denied） 后来看了些资料，个人用户访问不到。于是改到/opt/下指定文件夹安装。记得重启spark才能有效化配置文件 到此成功 来源：博客园 作者： 呢喃的歌声 链接：https://www

1、hive.properties中connector.name必须是hive-hadoop2 ，否则启动presto会自动退出 at com.google.common.base.Preconditions.checkArgument(Preconditions.java:210) at com.facebook.presto.connector.ConnectorManager.createConnection(ConnectorManager.java:172) at com.facebook.presto.metadata.StaticCatalogStore.loadCatalog(StaticCatalogStore.java:96) at com.facebook.presto.metadata.StaticCatalogStore.loadCatalogs(StaticCatalogStore.java:74) at com.facebook.presto.server.PrestoServer.run(PrestoServer.java:119) at com.facebook.presto.server.PrestoServer.main(PrestoServer.java:67)2、hive.properties配置core-site.xml和hdfs

一、手动导入 scm 库 /usr/share/cmf/schema/scm_prepare_database.sh mysql -h<mysql-host> -u<mysql-user> -p<mysql-pwd> --scm-host <scm-host> <scm-user> <scm-dbname> <scm-pwd> 其中 <mysql-host>,<mysql-user> <mysql-pwd> 是需要创建的 scm 库所在的 mysql 位置，对应的 mysql 的主机名，用户名和登录密码； <scm-host>,<scm_user>,<scm-dbname>,<scm-pwd>分别对应 cloudera-scm-server 部署在的主机名，scm 库的登录用户，scm 库的库名，scm 库的登录密码。 但是，当在使用云服务器的 rds 实例作为远程 mysql 时，执行以上脚本会报权限不够的错误。而在本地部署的 mysql 实例执行以上脚本则不会报错，主要原因是<mysql-user>是通过 grant all 命令来授权的，而使用 rds 实例时 grant all 命名是无法执行的，也就是使用 rds 时只能 grant 指定权限给用户，这样可能会导致一部分权限丢失，执行上面的自动建库脚本就会报权限错误。 解决方法： 由于 cloudera-scm

背景：部署CDH集群的 hive 服务，选用 mysql 作为 hive 元数据的存储数据库，通过 hive cli 建表时发现中文注释均乱码。 现象：hive端建表中文注释乱码。 定位： 于是查看hive库表的编码，分别通过如下方式查看hive库和随机某个表的编码，发现hive表的编码是 lantin1，问题也就出在这里。 查看hive库编码： 查看hive表编码： 解决方法： 将hive表中所有关于注释的编码有 lantin1 修改为 utf-8。 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8; alter table INDEX_PARAMS modify

什么是Kerberos Kerberos是一种网络身份验证协议，通过使用密钥加密技术提供健壮的身份验证解决方案，麻省理工学院(MIT)提供了一个免费版本，被广泛使用。 如上图所示，KDC由三个组件组成： Authentication Service(身份验证服务)：此组件负责所有用户与身份验证相关的操作 Database数据库：此组件存储所有用户和网络上服务的的密钥 Ticket Granting Server(票证授予服务器)：此组件负责授予用户和其他服务的ticket

http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.0/manual.html # yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel openldap-devel python-devel sqlite-devel openssl-devel mysql-devel gmp-devel $ tar -zxf /opt/softwares/hue-3.7.0-cdh5.3.6.tar.gz -C /opt/modules/cdh/ $ make apps $ scp -r etc/ hadoop-senior02.itguigu.com:/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/ $ scp -r etc/ hadoop-senior03.itguigu.com:/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/ $ /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/sbin/httpfs.sh start & $ build/env/bin

注意：如果未初始化数据目录，则无法启动ZooKeeper服务器。 //在生产环境中，您应该将ZooKeeper部署为具有奇数个服务器的集合。只要集合中的大多数服务器可用，ZooKeeper服务就可用。建议的最小集合大小是三个ZooKeeper服务器，Cloudera建议每个服务器在单独的计算机上运行。此外，如果可能，ZooKeeper服务器进程应该有自己的专用磁盘存储。 //查看zk的状态 [root@hadoop-205-107 opt]# echo "stat" |nc 192.168.205.107 2181 Zookeeper version: 3.4.5-cdh5.9.2--1, built on 04/04/2017 08:43 GMT Clients: /192.168.205.107:35132[1](queued=0,recved=424,sent=424) /192.168.205.107:45317[0](queued=0,recved=1,sent=0) /192.168.205.107:35125[1](queued=0,recved=879,sent=879) /192.168.205.107:35227[1](queued=0,recved=6576,sent=6576) /192.168.205.107:35133[1](queued=0

1、CDH报错cloudera-scm-server dead but pid file exists 　　cd /var/log/cloudera-scm-server/...db中查看故障原因 　 　 Re: FATAL: lock file "postmaster.pid" already exists 　　如何解决？ 　 　service cloudera-scm-server-db stop 　　service cloudera-scm-server-db start 　　service clouder-scm-server start. 转载请标明出处: CDH故障解决 文章来源: CDH故障解决