Cloudera

1、实在是在安装CDH的时候无法安装成功的话，只有重新启动了，下面给大家分享一个神器，按照这个脚本应该差不多就能卸载干净，然后重新安装，写一个脚本，内容如下，救命的神器呀： #!/bin/bash sudo /usr/share/cmf/uninstall-cloudera-manager.sh sudo service cloudera-scm-server stop sudo service cloudera-scm-server-db stop sudo service cloudera-scm-agent stop sudo yum remove cloudera-manager-agent sudo yum remove cloudera-manager-server sudo yum remove cloudera-manager-server-db-2 sudo yum remove 'cloudera-manager-*' bigtop-utils bigtop-jsvc bigtop-tomcat hadoop hadoop-hdfs hadoop-httpfs hadoop-mapreduce hadoop-yarn hadoop-client hadoop-0.20-mapreduce hue-plugins hbase hive oozie oozie

某厂面试归来，发现自己落伍了！>>> 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.问题描述 如果你忘记Cloudera Manager的admin用户密码，需要重置。那么本文刚好能帮到你。 2.解决办法 1.查看Cloudera Manager服务的数据库配置文件 登录Cloudera Manager所在的服务器，查看/etc/cloudera-scm-server/db.properties配置 获取CM数据库的用户名和密码 可以看到数据库如下信息： 数据库类型：mysql 数据库名：cm 用户名：cm 密码：password 2.登录到CM的数据库服务器 [root@ip-172-31-6-148 ~]# mysql -ucm -p -D cm Enter password: ... mysql> -u:指定登录数据库用户名 -p:登录数据库密码 -D:指定数据库名 3.备份admin管理员用户PASSWORD_HASH和PASSWORD_SALT信息到文本 mysql> SELECT PASSWORD_HASH, PASSWORD_SALT FROM USERS WHERE USER_ID = 1; +------------------------------------------------------------------+---------

某厂面试归来，发现自己落伍了！>>> 1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。 /var/log/* : 相关日志文件（相关服务的及CM的）。 /usr/share/cmf/ : 程序安装目录。 /usr/lib64/cmf/ : Agent程序代码。 /var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。 /usr/bin/postgres : 内嵌数据库程序。 /etc/cloudera-scm-agent/ : agent的配置目录。 /etc/cloudera-scm-server/ : server的配置目录。 /opt/cloudera/parcels/ : Hadoop相关服务安装目录。 /opt/cloudera/parcel-repo/ : 下载的服务软件包数据，数据格式为parcels。 /opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。 /etc/hadoop/* : 客户端配置文件目录。 2. 配置 Hadoop配置文件 配置文件放置于/var/run/cloudera-scm-agent/process/目录下。如：/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE

hue启动coordinator时报错，页面返回undefinied错误框： 后台日志报错： runcpserver.log [13/May/2019 04:34:55 -0700] middleware INFO Processing exception: 'NoneType' object has no attribute 'is_superuser': Traceback (most recent call last): File "/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hue/build/env/lib/python2.7/site-packages/Django-1.6.10-py2.7.egg/django/core/handlers/base.py", line 112, in get_response response = wrapped_callback(request, *callback_args, **callback_kwargs) File "/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hue/build/env/lib/python2.7/site-packages/Django-1.6.10-py2.7.egg

启动hdfs时，报错 Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件。 经过查看日志，发现 Name node is in safe mode. 解决方法：sudo -uhdfs hdfs dfsadmin -safemode leave 来源： oschina 链接： https://my.oschina.net/comics/blog/3190447

在CentOS下通过CM4（Cloudera Manager）安装CDH4（Cloudera Distribution for Hadoop）集群， 安装之前需先配置好SSH相互之前免密登录以及 /etc/hosts 和 /etc/sysconfig/network 文件， 安装脚本见： http://www.oschina.net/code/snippet_109451_38773 搭建完之后打开浏览器访问 namenode:7180 就可以完成整个集群的部署。 注意： 1. yum，createrepo，reposync都是python脚本，如果出现类似如下错误： ImportError: No module named rpm 可能是安装了多个版本的python，需要修改这些命令使其指向系统默认pyhton版本，即 /usr/bin/python2.4 2. Reposync is used to synchronize a remote yum repository to a local directory using yum to retrieve the packages. Reposync被用来同步远程YUM资源库到本地目录，即通过yum获取数据包，该工具包含于yum-utils中。 当然，使用 wget -r 命令也可以实现相同的功能。 来源： oschina 链接

大多数安装过hadoop的人应该都配置过ssh免密登录，为啥需要免密登录，主要是因为 start-all.sh 这样的启动脚本，这个脚本会ssh登录到其他服务器上并执行hadoop-daemon.sh start namenode hadoop-daemon.sh start zkfc 等命令启动相应的进程，如果不配置ssh免密登录，你需要输入每台机器的密码才能ssh登录到相应的机器上执行启动和关闭命令，这是相当繁琐的事情。 但cloudera-manager 的架构则不同，采用Server-Agent的结构，管理人员点击web页面的启动，重启，停止按钮，Server端会将指令发送到Agent端，Agent收到命令后启动相应的进程，这样根本就不需要ssh登录服务器执行命令了。 cloudera-manager 的安装需要root账号或者用户具有免密执行sudo的权限，为这些用户配置免密登录无疑是一件极具风险的事情，一旦有一台服务器被攻破了，那就意味着集群所有的机器都被攻破了，其次这不是必须的，只是画蛇添足，多此一举。 来源： oschina 链接： https://my.oschina.net/u/2447963/blog/1577058

目录 1.要求和支持的版本 1.1 支持的操作系统版本 1.2 硬件要求 1.3 支持的MySql版本 1.4 支持的JDKs 1.5 推荐使用的JDK 1.6CM和CDH兼容性 2.环境搭建 2.1安装Centos7.6 2.2 安装MySql 2.3 安装JDK8 2.4 系统环境准备 2.5 为CM配置Repository（就是rpm仓库） 2.6 安装Cloudera Manager服务 2.7 配置MySql 2.8 设置Cloudea Manager数据库 2.9 安装CDH和其它软件 1.要求和支持的版本 （PS:我使用的环境，都用加粗标识了。） 1.1 支持的操作系统版本 Operating System Version (bold=new) RHEL/CentOS/OL with RHCK kernel 7.6 , 7.5, 7.4, 7.3, 7.2,6.10, 6.9 , 6.8 Oracle Linux (OL) 7.4, 7.3, 7.2 (UEK default) SUSE Linux Enterprise Server SLES 12 SP4, 12 SP3, 12 SP2 Ubuntu Ubuntu 16.04 LTS (Xenial) ​ (系统版本要求） 1.2 硬件要求 Component Storage Notes Partition

cdh hive和impala的odbc驱动 http://www.cloudera.com/downloads.html.html 选择 SLES 11 64-bit下载： http://www.cloudera.com/downloads/connectors/impala/odbc/2-5-26.html 或者 https://downloads.cloudera.com/connectors/impala_odbc_2.5.26.1027/Linux/SLES11/ClouderaImpalaODBC-2.5.26.1027-1.x86_64.rpm apt-get install unixodbc apt-get install unixodbc-dev 安装impala odbc apt-get install alien dpkg-dev debhelper build-essential alien ClouderaImpalaODBC-2.5.26.1027-1.x86_64.rpm dpkg -i clouderaimpalaodbc_2.5.26.1027-2_amd64.deb vi /etc/profile.d/impala_env.sh export LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libodbcinst.so