Oozie

最近这段时间一直在忙新集群迁移，上了最新的cdh6.3.0 于是Flink 提交遇到了许多的问题，还好有cloudera License 有了原厂的帮助和社区的伙伴，问题解决起来快了不少。 集群具体情况是 CDH6.3.0+Flink1.8.1,整个数据平台全部组件都上了kerberos和ldap因为要过认证，所以任务提交方法我们选择统一Oozie提交任务，并且因为kerberos认证，还需要Flink perjob 需要单独的keytab，才能细粒度的控制权限，因为我们现在部门之间计算资源的划分是通过yarn资源队列，但是现在Flink支持的不是很好，目前只能在配置文件中配置一个keytab，job启动都去这个拉这个keytab复制到自己的contain里面，但是Flink第一提交方式还是希望能够通过oozie提交job，由于oozie没有天生支持Flink提交，所以只能选择oozie shell action 的方式提交job。 在Flink搭建好以后开始提交任务，用oozie shell提交： #！/bin/bash flink run -m yarn-cluster flinktest.jar 马上 Duang ！ flink command not find 改成命令绝对路径以后，还是 Duang！ org.apache.flink.client.deployment

正好编译还在进行，抽时间写写踩坑日志。 一 安装oozie，最新版5.2.0，而网上较多都是4.3.1，我就试了试5.1.0。刚从cdh版本换成apache版本，很多都要重新来，cdh版本oozie都是编译好的，下载下来一个多G，都需要10多步的配置，然而从apache官网下的版本只需要2.7M，需要自己编译，这其中的坑数不胜数也，先把编译前的坑写一点，以后遇到了再完善。 1.1 从官网下的版本 这个是要配合maven使用，所以我又下了个maven 都放在/opt/app目录下的，都是解压后直接用的。首先改maven配置，仓库的问题，有些人采用中央仓库，有些人采用阿里云的，其实我觉得都OK，也是根据实际情况来，maven我采用阿里云的，但是oozie后面由于持续报错，我又采用了中央仓库，后来发现错误不在这上面。。。。。 maven的conf/settings.xml文件肯定要改改的，文件夹repository自己建的。(用的时候把!去掉，我CSDN编辑还不熟悉，<>会默认掉) 本地仓库地址：<!localRepository>/opt/app/maven-3.6.3/repository <!/localRepository> 中央仓库地址加上去： <!mirror> <!id>nexus-aliyun<!/id> <!mirrorOf>*<!/mirrorOf> <!name

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 感谢群友rong和王峰提出问题并解决问题 1 文档编写目的 在前面的文章中，Fayson介绍过《 如何修改Cloudera Manager的时区 》，《 如何修改Hue的时区 》和《 如何修改CDSW会话的时区 》。在使用Hue创建调度任务的过程中，我们会发现Hue的时区与Oozie的调度时间不一致。默认Oozie使用的时区为UTC，在创建调度作业时还需要考虑在当前的时间减去8个小时才能达到我们的预期。在使用上非常不方便，这里Fayson主要介绍如何统一Hue和Oozie的时区。 测试环境 1.RedHat7.2 2.CM和CDH版本为5.15.0 2 设置Hue时区 Hue的默认时区为America/Los_Angeles，这里需要在CM上将Hue的时区修改为Asia/Shanghai。 1.登录Cloudera Manager进入Hue的配置页面搜索“time_zone” 2.将时区修改为Asia/Shanghai 保存配置，并重启Hue服务即可，以上完成Hue服务时区的设置。 3 修改Oozie时区 Oozie默认时区为UTC

Azkaban是什么?（一） Azkaban的功能特点（二） Azkaban的架构（三） 　　不多说，直接上干货！ http://www.cnblogs.com/zlslch/category/938837.html 　　目前，市面上最流行的两种Hadoop工作流引擎调度器Azkaban与Oozie。 具体，可以进一步看我的博客。 　　Azkaban概念学习系列 http://www.cnblogs.com/zlslch/category/938837.html 　　和Oozie概念学习系列 http://www.cnblogs.com/zlslch/category/916607.html 　　下面的表格对上述2种hadoop工作流调度器的关键特性进行了比较，尽管这些工作流调度器能够解决的需求场景基本一致，但在设计理念，目标用户，应用场景等方面还是存在区别。 特性 Oozie Azkaban 工作流描述语言 XML (xPDL based) text file with key/value pairs 依赖机制 explicit explicit 是否要web容器 Yes Yes 进度跟踪 web page web page Hadoop job调度支持 yes yes 运行模式 daemon daemon Pig支持 yes yes 事件通知 no no 需要安装 yes

查看oozie的log日志 oozie job -log 0000003-191226020256021-oozie-oozi-W 删除任务 oozie job -kill 0000003-191226020256021-oozie-oozi-W 来源： CSDN 作者： weixin_45762425 链接： https://blog.csdn.net/weixin_45762425/article/details/103712083

前言: 我用的是Ambari管理集群 其他集群管理工具安装oozie和手动编译安装oozie,关于oozie的UI界面无法访问的问题,大致和该方法类似. 找到下面4步骤里的视图显示的目录,有一个ext-2.2软链指向的路径 lrwxrwxrwx 1 oozie hadoop 41 Dec 12 2018 ext-2.2 -> /usr/hdp/3.0.1.0-187/oozie/libext/ext-2.2 将之前的下载的安装包放到该路径就可以了 其他步骤基本一致,路径稍有出入,方法如下: 1.安装完成,访问UI界面** 安装完成后,访问链接 http://ambari:11000/oozie 出现如下界面 解决To enable Oozie web console install the Ext JS library. 2.下载解压ext-2.2.zip 下载包链接, 点我 将ext-2.2.zip放到/usr/hdp/3.0.1.0-187/oozie/libext目录下, 这里的路径是我的绝对路径,你个人oozie安装目录注意更换 解压 cd /usr/hdp/3.0.1.0-187/oozie/libext #解压压缩包 unzip ext-2.2.zip #有时候需要对ext-2.2文件夹进行一个授权(可选择) chown oozie:oozie -R ext-2.2 3