Oozie

相关文章链接 CentOS7安装CDH 第一章：CentOS7系统安装 CentOS7安装CDH 第二章：CentOS7各个软件安装和启动 CentOS7安装CDH 第三章：CDH中的问题和解决方法 CentOS7安装CDH 第四章：CDH的版本选择和安装方式 CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章：CDH的管理-CDH5.12 CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置 CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作 CentOS7安装CDH 第九章：CDH中安装Kafka CentOS7安装CDH 第十章：CDH中安装Spark2 CentOS7安装CDH 第十一章：离线升级CDH版本 CentOS7安装CDH 第十二章：YARN的资源调优 CentOS7安装CDH 第十三章：CDH资源池配置 CentOS7安装CDH 第十四章：CDH的优化 1. CDH的下载 以 CentOS7.5 和 CDH5.7.0 举例： 1.1. cm的tar包下载 下载地址： http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/ 请选择需要的版本。 1.2. parcels包下载 下载地址： http://archive

--环境信息： 192.168.101.195 bd195 192.168.101.197 bd197 192.168.101.198 bd198 --安装所需的包： ambari-2.7.3.0-centos7.tar.gz HDP-3.1.0.0-centos7-rpm.tar.gz HDP-UTILS-1.1.0.22-centos7.tar.gz jdk-8u102-linux-x64.tar.gz mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar 注：以下所有操作都是用root权限！ 一、卸载自带jdk - 所有机器 (1)查看自带JDk版本 rpm -qa|grep java (2)卸载自带JDK rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.161-0.b14.el7_4.x86_64 rpm -e --nodeps java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64 (3)上传JDk并解压 jdk版本：jdk-8u102-linux-x64.tar.gz 上传JDk包至/usr/local/jdk目录下，并切换到该目录（没有jdk目录则手动创建），执行远程拷贝命令如，每个节点的jdk安装路径一样。拷贝完后解压JDK包。 scp jdk

Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。HUE的特性如下图所示： HUE的架构图如下： 1、安装依赖软件包 本文搭建HUE的平台是Oracle Linux 7.4。 [root@hdp01 ~]# yum -y install gcc-c++ asciidoc cyrus-sasl-devel cyrus-sasl-gssapi krb5-devel libxml2-devel libxslt-devel mysql-devel openldap-devel python-devel sqlite-devel openssl-devel gmp-devel libffi libffi-devel MySQL-python mysql-community-devel cyrus-sasl-plain 如果这些软件包不安装，在编译的过程中会报错，尤其是mysql相关的软件包，还有cryus-sasl。 2、安装HUE HUE的下载地址可以从http://gethue.com/官网找

安装和配置Oozie Oozie用于Hadoop的工作流配置； 参考链接： 《Install and Configure Apache Oozie Workflow Scheduler for CDH 4.X on RHEL/CentOS 6/5》 http://www.tecmint.com/install-apache-oozie-for-cdh-in-centos/ （亲测可用） 《How to Install Latest MySQL 5.7.9 on RHEL/CentOS 7/6/5 and Fedora 23/22/21》 http://www.tecmint.com/install-latest-mysql-on-rhel-centos-and-fedora/ （亲测可用） 主要内容： 步骤1：安装Oozie 步骤2：配置Oozie 安装Oozie wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpmyum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpmyum install oozieyum install oozie-client 配置Oozie

1、实在是在安装CDH的时候无法安装成功的话，只有重新启动了，下面给大家分享一个神器，按照这个脚本应该差不多就能卸载干净，然后重新安装，写一个脚本，内容如下，救命的神器呀： #!/bin/bash sudo /usr/share/cmf/uninstall-cloudera-manager.sh sudo service cloudera-scm-server stop sudo service cloudera-scm-server-db stop sudo service cloudera-scm-agent stop sudo yum remove cloudera-manager-agent sudo yum remove cloudera-manager-server sudo yum remove cloudera-manager-server-db-2 sudo yum remove 'cloudera-manager-*' bigtop-utils bigtop-jsvc bigtop-tomcat hadoop hadoop-hdfs hadoop-httpfs hadoop-mapreduce hadoop-yarn hadoop-client hadoop-0.20-mapreduce hue-plugins hbase hive oozie oozie

第1章 Oozie简介 Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。 第2章 Oozie的功能模块介绍 2.1模块 1) Workflow 顺序执行流程节点，支持fork（分支多个节点），join（合并多个节点为一个） 2) Coordinator 定时触发workflow 3) Bundle 绑定多个Coordinator 2.2 Workflow常用节点 1) 控制流节点（Control Flow Nodes ） 控制流节点一般都是定义在工作流开始或者结束的位置，比如start,end,kill等。以及提供工作流的执行路径机制，如decision，fork，join等。 2) 动作节点（Action Nodes ） 负责执行具体动作的节点，比如：拷贝文件，执行某个Shell脚本等等。 第3章 Oozie的部署 3.1 部署Hadoop（CDH版本的） 3.1.2 修改Hadoop配置 core-site.xml <!-- Oozie Server的Hostname --> <property> <name>hadoop.proxyuser

Workflow是一款应用软件，2015年“App Store最佳应用”，iPhone平台最具创新应用。2017年3月，Workflow被苹果公司收购。苹果不只获得了Workflow App，开发团队也会加入苹果公司。目前，Workflow已改名为快捷指令（Shortcuts）。 1. Oozie简介 Yahoo开发工作流引擎Oozie（驭象者），用于管理Hadoop任务（支持MapReduce、Spark、Pig、Hive），把这些任务以DAG（有向无环图）方式串接起来。Oozie任务流包括：coordinator、workflow；workflow描述任务执行顺序的DAG，而coordinator则用于定时任务触发，相当于workflow的定时管理器，其触发条件包括两类： 数据文件生成 时间条件 Oozie定义了一种基于XML的hPDL （Hadoop Process Definition Language）来描述workflow的DAG。在workflow中定义了 控制流节点（Control Flow Nodes） 动作节点（Action Nodes） 其中，控制流节点定义了流程的开始和结束（start、end），以及控制流程的执行路径（Execution Path），如decision、fork、join等；而动作节点包括Hadoop任务、SSH、HTTP

hue启动coordinator时报错，页面返回undefinied错误框： 后台日志报错： runcpserver.log [13/May/2019 04:34:55 -0700] middleware INFO Processing exception: 'NoneType' object has no attribute 'is_superuser': Traceback (most recent call last): File "/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hue/build/env/lib/python2.7/site-packages/Django-1.6.10-py2.7.egg/django/core/handlers/base.py", line 112, in get_response response = wrapped_callback(request, *callback_args, **callback_kwargs) File "/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hue/build/env/lib/python2.7/site-packages/Django-1.6.10-py2.7.egg

1 背景 在使用Hue创建调度任务的过程中，我们会发现Hue的时区与Oozie的调度时间不一致。默认Oozie使用的时区为UTC，在创建调度作业时还需要考虑在当前的时间减去8个小时才能达到我们的预期。 2 现象描述 使用Hue创建一个调度 步骤如下： step1：创建调度 step2：设置时间以及时区 step3：保存 step4：提交 此时，可以发现创建调度时设置的时间与实际调度时间不一致，两者相差了8小时！！ 3 解决——将Hue与Oozie配置为统一时区 1） 设置Hue时区　　 Hue的默认时区为America/Los_Angeles，这里需要在CM上将Hue的时区修改为Asia/Shanghai。 step1：登录Cloudera Manager进入Hue的配置页面 step2：搜索“time_zone”，将时区修改为Asia/Shanghai step3：保存配置，并重启Hue服务即可，以上完成Hue服务时区的设置。 2） 修改Oozie时区 Oozie默认时区为UTC，如果在Hue上创建调度任务会发现要让调度任务与期望的时间一致，则需要在当前时间减去8个小时，在使用上非常不方便，那在下面的步骤就说明如何设置Oozie的时区。 step1：登录Cloudera Manager 进入Ooize服务的配置界面 step2：进行配置项搜索“oozie-site.xml”