cm

自己新机器安装CM时候 server服务启动DB配置

断了今生、忘了曾经 提交于 2019-12-01 04:28:12
com.cloudera.cmf.db.type=mysql com.cloudera.cmf.db.host=localhost:3306 com.cloudera.cmf.db.name=cmf com.cloudera.cmf.db.user=root com.cloudera.cmf.db.password=123456 com.cloudera.cmf.db.URL=jdbc:mysql://localhost:3306/order?characterEncoding=utf-8 com.cloudera.cmf.db.setupType=EXTERNAL 记得需要拷贝mysql驱动到share lib下和需要mysql创建cmf库和用户 需要给远程用户赋值权限,具体操作网上可查(cmf库貌似会自己创建,不过已经存在会直接用)。安装了多次这个配置记录下下次可以直接用文件路径在/opt/cloudera/cm-5.10.0/etc/cloudera-scm-server。opt是我存放cm安装文件的目录 来源: https://www.cnblogs.com/yaohaitao/p/11653923.html

采用Cloudera-Manager安装CDH时,采用内嵌数据库各数据库用户密码的保存位置

◇◆丶佛笑我妖孽 提交于 2019-11-30 12:19:01
一、场景描述 在采用Cloudera-Manager安装cdh时,通常使用内嵌的PostgreSQL数据库。 Cloudera-Manager除了保存CDH集群的配置元数据的scm数据库外,还为Activity Monitor(活动监控)、Service Monitor(服务监控)、Report Manager(报告管理)、Host Monitor(主机监控)、Cloudera Navigator(Cloudera导航)等信息分别创建数据amon、smon、rmon、hmon、nav相应的数据。 如果你运行了Hive服务, Cloudera-Manager还会创建hive数据库用于保存hive metastore即建表的元数据等。 二、数据库的密码位置 : scm数据库的用户名,密码 more /etc/cloudera-scm-server/db.properties 其他数据库(如amon,hmon,smon,rman,nav)的用户名、密码 more /etc/cloudera-scm-server/db.mgmt.properties 数据库管理者(相当于oracle DBA)cloudera-scm的用户名、密码 /var/lib/cloudera-scm-server-db/data/generated_password.txt hive数据库的用户名、密码 You

CM搭建Hadoop全分布式

╄→尐↘猪︶ㄣ 提交于 2019-11-30 02:37:41
1.1 环境配置 使用XShell软件,创建5个会话窗口,五个服务器的地址分别是: 1.1.1 配置主机名、hosts文件 # 主机名 # 配置各节点的主机名 [root@main-master ~]# vim /etc/sysconfig/network #查看 [root@main-master ~]# cat /etc/sysconfig/network NETWORKING=yes HOSTNAME=main-master # 配置 hosts [root@main-master ~]# vim /etc/hosts #在配置文件上加各节点IP # 一定要保留 127.0.0.1 ,否则 cm 分发会心跳错误 127.0.0.1 localhost 1.1.2 配置各节点之间的ssh免密玥 # 在各个节点生成自己的公钥和私钥 [root@main-master ~]# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa [root@data1 packages]# cd ~ # 将自己的公钥分发给其他节点,包括自己分发给自己 首先在 main-master 节点上 [root@main-master ~]# ssh-copy-id -i .ssh/id_rsa.pub main-master [root@main-master ~]# ssh

oracle/mysql java jdbc类型映射

試著忘記壹切 提交于 2019-11-29 12:12:37
MySQL数据类型 JAVA数据类型 JDBC TYPE 普通变量类型 主键类型 BIGINT Long BIGINT 支持 支持 TINYINT Byte TINYINT 支持 不支持 SMALLINT Short SMALLINT 支持 不支持 MEDIUMINT Integer INTEGER 支持 支持 INTEGER Integer INTEGER 支持 支持 INT Integer INTEGER 支持 支持 FLOAT Float REAL 支持 不支持 DOUBLE Double DOUBLE 支持 不支持 DECIMAL BigDecimal DECIMAL 支持 不支持 NUMERIC BigDecimal DECIMAL 支持 不支持 CHAR String CHAR 支持 不支持 VARCHAR String VARCHAR 支持 不支持 TINYBLOB DataTypeWithBLOBs.byte[] BINARY 不支持 不支持 TINYTEXT String VARCHAR 支持 不支持 BLOB DataTypeWithBLOBs.byte[] BINARY 不支持 不支持 TEXT DataTypeWithBLOBs.String LONGVARCHAR 不支持 不支持 MEDIUMBLOB DataTypeWithBLOBs.byte[]

CM & CDH 基本概念

佐手、 提交于 2019-11-29 06:40:20
什么是 CDH Hadoop 是开源项目,所以很多公司在这个基础上进行商业化,不收费的 Hadoop 主要有三个: Apache,最原始的版本,所有发行版均基于这个版本进行 Cloudear,全称 Cloudera’s Distribution Including Apache Hadoop,简称 CDH Hortonworks,全称 Hortonworks Data Platform,简称 HDP 什么是 Cloudera Manager Cloudear Manager,简称 CM,用于管理 CDH 集群,其主要功能是对 CDH 集群进行监控,大大改善原生 Apache Hadoop 的安装、配置复杂度和需要使用第三方开源监控工具所带来的诸多问题,可进行节点安装、配置、诊断、集成并提供 web 界面。 CM 架构 基本组成: Server Agent:安装在每个集群节点上,Server 下发的操作都由 Agent 来实现 Management Service:监控报警等功能 Database:存储各种服务配置信息和报警信息 Cloudera Repoistory:用来分发 Parcels 包的远程仓库 Clients Server 和 Agent 通信方式:默认情况下,Agent 每隔 15s 向 Server 发送心跳。但是当状态发生变化时,为了减少用户等待时间

屏蔽Flash右键菜单

江枫思渺然 提交于 2019-11-28 00:35:05
import flash.ui.ContextMenu; import flash.net.URLRequest; import flash.net.navigateToURL; var copyright:String="版权声明:"; var context:String="未经允许不得以任何方式复制.盗用.链接."; var link:String="http://www.baidu.com"; var _contextMenu:ContextMenu; var copyright_CM:ContextMenuItem; var context_CM:ContextMenuItem; var link_CM:ContextMenuItem; _contextMenu=new ContextMenu(); _contextMenu.hideBuiltInItems(); copyright_CM=new ContextMenuItem(copyright); context_CM=new ContextMenuItem(context); //context_CM.separatorBefore = true;//在copyright上加入分隔线 link_CM=new ContextMenuItem(link); link_CM.separatorBefore = true

cm修改 cdh集群 ip

落爺英雄遲暮 提交于 2019-11-26 16:34:54
背景 公司搬迁新到新大楼IP地址发生变化以及需要搭建线上数据中心需要重新分配机房ip,便于维护 环境 centos 6.5 CDH 5.13 1.梳理修改相关IP与HostName对应关系 2.cm 停止所有服务 3 停止cm 大数据监控(所有节点) service cloudera-scm-agent stop #需要停止所有的agent service cloudera-scm-server stop 修改数据库(本为mysql 将对应域名的ip 换掉) 命令例子 update hosts set IP_ADDRESS= ‘10.3.3.27’ where name=node1 5、修改所有节点的Agent配置文件 –将server_hosts的值修改为新的CDH Manager管理节点的IP vi /etc/cloudera-scm-agent/config.ini (此处为hostname 修改与否待验证) 8 修改所有节点的/etc/hosts,将IP修改为新的IP 9 重启启动CDH Manager对应的管理进程及Agent服务 service cloudera-scm-server-db restart service cloudera-scm-server start service cloudera-scm-agent start 10 登录cm 启动所以服务验证

大数据平台CDH搭建

时间秒杀一切 提交于 2019-11-25 21:08:08
一、概述 Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。 二、安装部署 序号 IP地址 主机名 系统版本 1 172.20.2.222 cm-server centos7.3 2 172.20.2.203 hadoop-1 centos7.3 3 172.20.2.204 hadoop-2 centos7.3 4 172.20.2.205 hadoop-3 centos7.3 2.2.1 基础环境部署 a.修改主机名配置hosts systemctl stop firewalld hostnamectl set-hostname cm-server #更改个主机名 sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config setenforce 0 cat >>/etc/hosts<<EOF #添加各个节点hosts解析 172.20.2.222 cm-server 172.20.2.203 hadoop-1 172.20.2.204