Cloudera

导语 Maven和gradle是现在JAVA世界中最普遍的两个依赖管理工具。很多人最开始接触的便是maven，而即便是使用gradle的人，也不能保证你即将接触的项目不是基于maven的。 相信作为一个JAVA开发者，一定会遇到不少Maven相关的错误。这里总结一下一些maven的使用经验，能解决几乎所有平时能遇到的棘手问题。 2020年01月15日起 Maven中央仓库禁止了HTTP访问，需要修改HTTP为HTTPS才能访问。 Effective January 15, 2020, The Central Repository no longer supports insecure communication over plain HTTP and requires that all requests to the repository are encrypted over HTTPS. If you're receiving this error, then you need to replace all URL references to Maven Central with their canonical HTTPS counterparts 参考链接 找不到jar，无法在某某仓库找到jar 解决方案： 以commons-collections为例， 检查是不是网络问题：

参考文章： apache Impala详细安装（躺过最全的坑） Apache impala详细安装 impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sql工具， 安装部署： 1．安装前提 集群提前安装好hadoop，hive。 hadoop框架需要支持C程序访问接口 2．下载安装包、依赖包 由于impala没有提供tar包进行安装，只提供了rpm包。因此在安装impala的时候，需要使用rpm包来进行安装。rpm包只有cloudera公司提供了，所以去cloudera公司网站进行下载rpm包即可。 但是另外一个问题，impala的rpm包依赖非常多的其他的rpm包，可以一个个的将依赖找出来，也可以将所有的rpm包下载下来，制作成我们本地yum源来进行安装。这里就选择制作本地的yum源来进行安装。 所以首先需要下载到所有的rpm包，下载地址如下 http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6.tar.gz 3．配置本地yum源 使用sftp的方式把安装包大文件上传到服务器**/cloudera_data**目录下 cd /cloudera

主机的 NTP 服务未响应时钟偏差请求。 建议 这是主机运行状况测试，用于检查主机的系统时钟是否与其 NTP 服务器不同步。该测试能检查“ntpdc -c loopinfo”命令报告的主机时钟偏差绝对值是否未过大。如果该命令失败或主机的 NTP 后台程序未运行，该测试将返回运行状况“不良”。 如果 NTP 未在主机上使用，应对使用以下配置选项的主机禁用该检查。Cloudera 建议使用 NTP 使 Hadoop 群集实现时间同步。 该运行状况测试失败可能表示主机的 NTP 服务或配置出现问题。 可使用 主机时钟偏差阈值 主机配置设置来配置该测试。 时区更改：（东八区） cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #reboot 选择Node1 节点为时钟同步服务器，其他节点为客户端同步时间到该节点。 安装NTP 查看任务 crontab -l 1.3 时钟同步 搭建时钟同步服务器 这里选择 cdh1 节点为时钟同步服务器，其他节点为客户端同步时间到该节点。、 安装ntp: $ yum install ntp 修改 cdh1 上的配置文件 /etc/ntp.conf : restrict default ignore //默认不允许修改或者查询ntp,并且不接收特殊封包 restrict 127.0.0.1 /

cloudera官网: https://www.cloudera.com/ 官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html 一 , 监控 可以在管理页面看到默认的监控 点击进入莫个具体的组件 也有与之对应的监控指标 二, 自定义监控 可以在管理菜单上方的图表里面找到dashboards 在具体的页面可以添加和导入仪表盘 通过拖动就可以打造出自己的监控大屏 如果需要增加监控指标可以在操作菜单点击<从图表生成器增加> 通过语句可以简单的进行搜索 关于图表的类型也可以自己定义,指标也可以自由定义 扩展 https://blog.csdn.net/Hadoop_SC/article/details/102784348?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2 点赞 收藏 分享 文章举报 脚丫先生 发布了187 篇原创文章 · 获赞 343 · 访问量 62万+ 他的留言板 关注 来源： oschina 链接： https://my

一、为什么要使用Solr做二级索引 二、实时查询方案 三、部署流程 3.1 安装HBase、Solr 3.2 增加HBase复制功能 3.3创建相应的 SolrCloud 集合 3.4 创建 Lily HBase Indexer 配置 3.5创建 Morphline 配置文件 3.6 注册 Lily HBase Indexer Configuration 和 Lily HBase Indexer Service 3.7 同步数据 3.8批量同步索引 3.9 设置多个indexer 四、数据的增删改查 4.1 增加 4.2更新 4.3删除 4.4 总结 五、 扩展命令 六、F&Q 6.1创建indexer失败，原来indexer已经存在 6.2创建indexer失败 6.3使用自带的indexer工具批量同步索引失败,提示找不到morphlines.conf 6.4使用自带的indexer工具批量同步索引失败,提示找不到solrconfig.xml 6.5使用自带的indexer工具批量同步索引失败,提示找不到Java heap space 6.6 HBaseIndexer启动后一会儿就自动退出 6.7 HBaseIndexer同步的数据与Solr不一致 6.8 出现了6.7的问题之后，修改了read-row="never"后，丢失部分字段 一、为什么要使用Solr做二级索引

CDH5.12.0 中扩容增加计算节点 标签（空格分隔）： 大数据平台构建 一： 环境准备 二： 增加节点环境系统初始化 三： 增加节点关于CDH5.12.0环境配置 四： 在CM 上面节点增加 一：环境的概述与准备 概述： 很多时候，企业的大数据环境（CDH5.12.0），根据使用的时间越来越长，空间会有不足的情况，集群的计算 能力也因此下降， 此时需要对将大数据的 集群环境进行扩容 增加计算节点。 1.1 系统逻辑部署图 1.2 安装文件详细信息列表： CM: cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz Jdk: jdk-8u151-linux-x64.rpm 1.3 系统主机名 注意： 生产安装环境 IP 地址 尽量是连续的。届时host 文件按照具体IP 地址进行配置。 二： 增加节点系统初始化 2.1： jdk 配置 root 用户执行 卸载内置的open-jdk版本： #rpm -e jdk-***.rpm 把有关jdk 的包都卸载掉 # rpm -ivh jdk-8u151-linux-x64.rpm # java -version 2.2: 配置系统时间chrony时间同步服务器： root用户执行命令： 安装包： yum install -y chrony* echo "server 192.168.4.11

3 月，跳不动了？>>> 最近在安装，百度找了些资料，发现都各种无效。自己调试用的服务器yum安装比较方便。 1、 cd /etc/yum.repos.d 2、rm -rf cloudera-cdh5.repo 3、 wget http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/cloudera-cdh5.repo （如果是CensOS6的话， wget http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo） ，下载失败可以多重试几次。 4、yum list|grep zookeeper 可能抛出如下错误，多执行几次即可 https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5/repodata/primary.xml.gz: [Errno 14] curl#6 - "Could not resolve host: archive.cloudera.com; Unknown error" Trying other mirror. https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5/repodata/primary.xml.gz:

如何在Redhat7.7中安装CDP DC7.0.3 标签（空格分隔）： 大数据平台构建 一：关于CDP DC 7.0.3 概述 二： 系统环境初始化 三： 构建CDP DC 7.0.3 一： 关于CDP DC 7.0.3 概述 1.1 CDP dc 7.0.3 CDP DC7.0.3是Cloudera与Hortonworks合并后，第一个融合CDH和HDP所有组件的on-premise版本，CDP Data Center主要由Cloudera Runtime构成，Cloudera Runtime由超过35个开源项目组成，当然CDP Data Center还包括其它功能如管理功能Cloudera Manager，Key Management，专业支持等，如下图所示： 1.2 Cloudera Runtime的主要组件版本如下图所示： 二： 系统环境初始化 2.1 系统环境介绍 OS: rhel7.7x64 cat /etc/hosts --- 192.168.100.21 rhel01.flyfish 192.168.100.22 rhel02.flyfish 192.168.100.23 rhel03.flyfish 192.168.100.24 rhel04.flyfish 192.168.100.25 rhel05.flyfish 192.168.100.26 rhel06