cdh

CDH-5.14.2集群升级Hive-1.1.0至Hive-1.2.1

不羁的心 提交于 2020-01-22 08:00:48
参考: CDH 5.1.5(parcels)集群中hive1.1.0升级到hive-1.2.1步骤全,升级hive元数据库,数据不丢失(亲测可用) 操作步骤: 下载 hive-1.2.1-bin 解压: [ root@node01 ~ ] # cd /opt/software/ [ root@node01 software ] # ls apache-hive-1.2.1-bin.tar.gz cloudera-manager-centos7-cm5.14.2_x86_64.tar.gz jdk-8u231-linux-x64.tar.gz maxwell-1.22.1.tar.gz apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz flink-1.9.1-cdh-5.14.2.tar.gz kafka-manager-1.3.1.6.zip mysql-connector-java.jar [ root@node01 software ] # tar -zxf apache-hive-1.2.1-bin.tar.gz -C /opt/module/ [ root@node01 software ] # cd /opt/module/ [ root@node01 module ] # mv apache-hive-1.2.1-bin hive-1

离线CDH5搭建

微笑、不失礼 提交于 2020-01-12 15:20:25
为什么会出现CDH? 1:Apache Hadoop 版本管理换乱 2:部署过程繁琐,升级过程复杂 3:兼容性查 安全性低 Hadoop发行版: Apache Hadoop Cloudera’s Distribution Including Apache Hadoop(CDH) Hortonworks Data Platform (HDP) MapR EMR 什么是CDH? Cloudera’s Distribution Including Apache Hadoop(CDH) 是Hadoop众多分支的一种,由Cloudera维护,是基于稳定的Apache Hadoop去构建的 CDH提供了Hadoop的核心能力 分布式计算与可扩展存储以及基于Web的用户界面 CDH的优点: 1: 版本划分清晰 2:版本更新速度快 3:支持Kerberos安全认证 4:文档清晰 5;支持多种安装方式(Clouder Manager , Yum , Rmp ,Tarball) 本次介绍安装CDH的方式为Clouder Manager方式 ClouderaManager Clouder Manager 是一个管理CDH端到端的应用: 简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内

修改CDH的HostName和IP

北城余情 提交于 2020-01-11 06:13:23
前言 搭建集群的时候,犯了一个低级错误,当时竟然没有按照官方文档来,修改hostname的时候,竟然使用了临时的命令: hostname xxx 然后重启服务器后,整个集群不可用了,因为hostname发生了改变 修改HostName 临时修改 hostname xxx 永久修改 sudo vim /etc/hostname 在该文件中写上hostname名称即可 更详细的内容可 参考 修改/etc/hosts文件 sudo vim /etc/hosts 在该文件中写上所有节点的ip和hostname,如: 10.169.xx.xxx slave01 修改CM Server的元数据 我当时使用的是mysql数据库,因此先登录mysql数据库 切换数据库 use cm; 查看几个重要字段 select host_id, host_identifier, name, ip_address from HOSTS; 结果大概如下: +---------+--------------------------------------+---------------+--------------+ | host_id | host_identifier | name | ip_address | +---------+--------------------------------------+

初识 HBase

此生再无相见时 提交于 2020-01-10 14:58:38
HBase简介 对大数据领域有一定了解的小伙伴对HBase应该不会陌生,HBase是Apache基金会开源的一个分布式非关系型数据库,属于Hadoop的组件。它使用Java编写,需运行于HDFS文件系统之上。HBase与Hadoop中的其他组件一样,可以运行在廉价硬件上,并可提供数10亿行 X 数百万列的大数据存储、管理能力,以及随机访问和实时读/写能力。HBase的设计模型参考了Google的 Bigtable ,可以说是Bigtable的开源实现版本。 HBase特性 数据容量大 ,单表可以有百亿行、百万列,数据矩阵横向和纵向两个维度所支持的数据量级都非常具有弹性 多版本 ,每一列存储的数据可以有多个version 稀疏性 ,为空的列并不占用存储空间,表可以设计的非常稀疏 读写强一致 ,非 “最终一致性” 的数据存储,使得它非常适合高速的计算聚合 自动分片 ,通过Region分散在集群中,当行数增长的时候,Region也会自动的切分和再分配 Hadoop/HDFS集成 ,和HDFS开箱即用,不用太麻烦的衔接。扩展性强,只需要增加DataNode就可以增加存储空间 丰富的“简洁,高效”API ,提供了Thrift/REST API,Java API等方式对HBase进行访问 块缓存 , 布隆过滤器 ,可以高效的列查询优化 操作管理 ,Hbase提供了内置的web界面来操作

CDH Hue中 Hive 或 Impala 一直连接不释放资源

一笑奈何 提交于 2020-01-10 07:42:50
Hive - 配置 - HiveServer2 - hive-site.xml 添加会话超时,但要注意会话超时后临时udf会失效。 <property><name>hive.server2.session.check.interval</name><value>3000</value></property> <property><name>hive.server2.idle.session.timeout</name><value>0</value></property> <property><name>hive.server2.idle.operation.timeout</name><value>0</value></property> 来源: CSDN 作者: 南宫紫攸 链接: https://blog.csdn.net/weixin_45353054/article/details/103913319

Flink 1.9.1 安装及启动

▼魔方 西西 提交于 2020-01-10 02:54:03
这里部署环境为 CDH6.2 集群,三个节点,Flink 版本为编译的 Flink1.9.1 版本。 Flink集群有两种部署的模式,分别是 Standalone 以及 YARNCluster 模式。 Standalone 模式 ,Flink 必须依赖于 ZooKeeper 来实现 JobManager 的 HA(Zookeeper 已经成为了大部分开源框架 HA 必不可少的模块)。在 Zookeeper 的帮助下,一个Standalone 的 Flink 集群会同时有多个活着的 JobManager,其中只有一个处于工作状态,其他处于 Standby 状态。当工作中的 JobManager 失去连接后(如宕机或 Crash), ZooKeeper 会从 Standby 中选举新的 JobManager 来接管 Flink 集群。 YARN Cluaster 模式 ,Flink 就要依靠 YARN 本身来对 JobManager 做 HA 了。其实这里完全是 YARN 的机制。对于 YARNCluster 模式来说, JobManager 和 TaskManager 都是启动在 YARN 的 Container中。此时的 JobManager,其实应该称之为 Flink Application Master。也就说它的故障恢复,就完全依靠着 YARN 中的

CDH安装

℡╲_俬逩灬. 提交于 2020-01-06 21:49:38
https://blog.csdn.net/wzhwangzhuohui/article/details/80805185 来源: CSDN 作者: pp_lan 链接: https://blog.csdn.net/pp_lan/article/details/103834810

CDH升级

牧云@^-^@ 提交于 2019-12-26 22:32:51
升级主要分为两部分1.CM的升级、2.CDH的升级 CM的升级 两种升级方法 1.使用 package 2.使用Tarballs升级方法,参照 官方 升级指引,Tarball中包含了 Cloudera Manager Server 和 Cloudera Manager Agent 通常情况下升级CM和升级CDH是两个独立的过程,可以在不关闭CDH服务的情况下升级CM,然后再升级CDH,升级CM主要分为以下几个步骤 1.收集升级信息 在升级之前收集与CM相关的信息,包括账户、密码、数据库URLs等。 1.有root用户权限或者起码有sudo权限 2.查看CM、JDK的版本 3.CDH的版本 进入CM主页面 4.所安装的服务 5.查看系统版本 hosts->All Hosts 随便点击一个主机 2.完成升级前的准备 1.本次要升级到的版本为5.13.X,支持的OS版本 2.查看用户自定义的服务 Administration->setting->Custom Service Descriptors 3.升级JDK 升级JDK到1.8 . 在页面设置java的目录:主机(Hosts)->所有主机(All Hosts)->配置(Configuration)->类别(CATEGORY)->高级(Advanced)。这样做仅仅修改了CM和CDH依赖的JDK,并不会影响要其他的进程 4.升级CM

Kylin大数据分析神兽

天涯浪子 提交于 2019-12-23 21:58:28
apache版本安装 安装 hbase-1.2.11-bin.tar.gz 安装 hive-2.1.0 安装 hadoop-2.6.0-cdh 安装 zookeeper-3.4.12 安装 apache-kylin-2.0.0-bin-hbase1x.tar.gz 注意:cdh环境请下载其他版本 配置下环境变量直接启动即可 mysql远程访问 GRANT ALL PRIVILEGES ON hive.* TO 'root'@'%' IDENTIFIED BY '访问密码'; flush privileges; https://blog.csdn.net/qq_27078095/article/details/56865443 hadoop编译snappy https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.6.0/bk_installing_manually_book/content/rpm-chap1-11.html 配置yarn文档 ================================================================================= 企业版 kyligence 安装 官网: https://kyligence.io/zh/ 1、安装条件CDH

CDH集成Presto

安稳与你 提交于 2019-12-23 03:10:23
CDH集成Presto Presto的基本环境: Linux或Mac OS X Java 8,64位(小版本151以上) Python 2.4+ 一、 安装Presto 下载地址: 下载Presto 1. 上传文件并解压到${CM}/cloudera/parcels tar -zxvf presto-server-0.216.tar.gz -C /opt/cloudera/parcels/ 2. 为Presto创建软连接 # 创建软连接 sudo ln -s presto-server-0.228 PRESTO # 更改权限 sudo chown cloudera-scm:cloudera-scm PRESTO presto-server-0.228 3. 为Presto指定JDK sudo vim ${PRESTO_HOME} /bin/launcher # 添加: export JAVA_HOME = /usr/java/jdk1.8 export PATH = $PATH : $JAVA_HOME /bin 4. 创建配置文件 在presto根目录下创建etc文件夹,并在etc下创建配置文件 mkdir -p etc 4.1. 创建node.properties 节点属性配置 Presto集群分为两种节点: coordinator:作为主节点提供连接服务并下发、执行任务