Cloudera

CDH 5.11.0 文章目录 配置企业微信预警功能 Cloudera Management Service配置 测试 配置企业微信预警功能 1、注册一个新的洗液微信账户 https://work.weixin.qq.com/wework_admin/register_wx?from=myhome 2、添加一个通讯录分组，即预警分组，并添加预警人 3、创建一个新的应用，预警应用 添加应用时可指定分组 4、这里预警时会用到（企业ID，AgentId，Secret） 我的企业： 5、配置脚本发送预警 alert.sh #!/usr/bin/env bash CLUSTER = ` cat $1 | python /opt/cloudera/alert.py ` echo $CLUSTER alert.py #!/usr/bin/env python #coding: utf8 import os import time import urllib2 import json import sys reload ( sys ) sys . setdefaultencoding ( 'utf-8' ) myfile = sys . stdin data = json . load ( myfile ) for i in range ( 0 , len ( data ) ) : alert =

相关文章链接 CentOS7安装CDH 第一章：CentOS7系统安装 CentOS7安装CDH 第二章：CentOS7各个软件安装和启动 CentOS7安装CDH 第三章：CDH中的问题和解决方法 CentOS7安装CDH 第四章：CDH的版本选择和安装方式 CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章：CDH的管理-CDH5.12 CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置 CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作 CentOS7安装CDH 第九章：CDH中安装Kafka CentOS7安装CDH 第十章：CDH中安装Spark2 CentOS7安装CDH 第十一章：离线升级CDH版本 CentOS7安装CDH 第十二章：YARN的资源调优 CentOS7安装CDH 第十三章：CDH资源池配置 CentOS7安装CDH 第十四章：CDH的优化 1. CDH的下载 以 CentOS7.5 和 CDH5.7.0 举例： 1.1. cm的tar包下载 下载地址： http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/ 请选择需要的版本。 1.2. parcels包下载 下载地址： http://archive

官宣！ASF官方正式宣布Apache Hudi成为顶级项目 马萨诸塞州韦克菲尔德（Wakefield，MA）- 2020年6月 - Apache软件基金会（ASF）、350多个开源项目和全职开发人员、管理人员和孵化器宣布：Apache Hudi正式成为Apache顶级项目（TLP）。在投票表决Hudi毕业时，Hudi总共获得了19票binding（其中包括ASF联合创始人Jim Jagielski的一票），21票non-binding。 Apache Hudi（Hadoop Upserts Delete and Incremental）数据湖技术可在Apache Hadoop兼容的云存储和分布式文件系统之上进行流处理。该项目最初于2016年在Uber开发（代号和发音为"Hoodie"），于2017年开源，并于2019年1月提交给Apache孵化器。 Apache Hudi项目VP Vinoth Chandar说：“在孵化器中学习和发展Apache之道是一种有益的体验，作为一个社区，我们对我们共同推动该项目走了多远依然感到谦卑，与此同时，对即将到来的挑战感到兴奋。” Apache Hudi用于在Apache Hadoop分布式文件系统（HDFS）或云存储上使用流处理原语（例如插入更新和增量更改流）来管理PB级数据湖。Hudi数据湖提供了新鲜的数据，比传统批处理效率高一个数量级。

相关文章链接 CentOS7安装CDH 第一章：CentOS7系统安装 CentOS7安装CDH 第二章：CentOS7各个软件安装和启动 CentOS7安装CDH 第三章：CDH中的问题和解决方法 CentOS7安装CDH 第四章：CDH的版本选择和安装方式 CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章：CDH的管理-CDH5.12 CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置 CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作 CentOS7安装CDH 第九章：CDH中安装Kafka CentOS7安装CDH 第十章：CDH中安装Spark2 CentOS7安装CDH 第十一章：离线升级CDH版本 CentOS7安装CDH 第十二章：YARN的资源调优 CentOS7安装CDH 第十三章：CDH资源池配置 CentOS7安装CDH 第十四章：CDH的优化 1. CDH的下载 以 CentOS7.5 和 CDH5.7.0 举例： 1.1. cm的tar包下载 下载地址： http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/ 请选择需要的版本。 1.2. parcels包下载 下载地址： http://archive

1. 2. 3. 4. 5. system ctl stop cloudera-scm-agent 6. 来源： oschina 链接： https://my.oschina.net/u/4352371/blog/4328201

关于Hadoop可能很多都是坏消息。 在2018年10月，最大的两个Hadoop发行版厂商Cloudera和Hortonworks宣布合并，抱团取暖，由于财报不太好，高层也离职了。还有第三大Hadoop发行版厂商MapR差点破产，幸亏最后被HPE收购....... 1 Hadoop的整体印象 一句话概括：Hadoop就是存储海量数据和分析海量数据的工具。 Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。 HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。 MapReduce是一个计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobTracker）对任务进行分布式计算。 2 Hadoop的优势 | 高可靠性 ：Hadoop 按位存储和处理数据的能力值得人们信赖。 | 高扩展性 ： Hadoop 是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以干计的节点中。 | 高效性 ： Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。 |

RowKey设计不合理容易导致热点问题，即所有的访问集中在一个或几个结点之上，导致这些机器过载，性能下降。一些常用的避免热点的方法： 哈希 适用场景：1. 无需连续读取；2. RowKey较为复杂 具体方法：记原始Key为OriginalKey，则新的Rowkey = Substr(Md5(OriginalKey), 0, 3) + OriginalKey. 说明：MD5取4位做前缀用于保证负载均衡，OriginalKey也需要拼接上去，避免冲突 实例：龙源Key为查询语句拼接而成，如"2015-12-20_2015-12-20_bra:1-pla:12-cha:2"，则生成的Rowkey为"9F38-2015-12-20_2015-12-20_bra:1-pla:12-cha:2" Reversing the key 适用场景：1. 无需连续读取；2. 固定长度或者数字类型的Rowkey 具体方法：将Rowkey倒序 说明：最后一位变化最频繁（数字的最低位）被移到开头，效果相当于哈希 实例：用户云聊天室，RowKey为roomID+msgID，由于roomID为单调增数字，最新的聊天室roomID最大，通常相对热度更高。若直接使用roomID，则最新的roomID集中在一个Region，产生热点。将roomID倒序后做为前缀，则最新的roomID被分散在不同的Region之中

Hadoop CDH版本安装和启动（CentOS7） 1、创建hadoop组和用户，useradd hadoop　　passwd hadoop　　groupadd hadoops　　usermod -G hadoops hadoop(将hadoop添加到hadoops组中)。 2、下载hadoop版本 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0.tar.gz 。（或者直接：wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0.tar.gz/ ， https://archive.cloudera.com/cdh5/cdh/5/ 这里hadoop生态圈其他的工具下载） 3、安装java1.8，解压jdk1.8的包，vi /home/hadoop/.bash_profile，然后添加环境变量 export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91 export PATH=$JAVA_HOME/bin:$PATH 测试：java -version ，成功。 4、配置ssh无密码登录，先输密码登录一次（创建.ssh文件）：ssh hadoop000（以后ip可能会变，所以都写成hadoop000