yarn

目录 一、Ranger是什么 1、Ranger介绍 2、Ranger模块 二、基于Ambari安装Ranger 一、Ranger是什么 1、Ranger介绍 Ranger是Hadoop平台的集中式安全管理框架，能够为hadoop平台组件提供细粒度的访问控制。通过Ranger, Hadoop管理员能够轻松地管理各种安全策略，包括：访问文件/文件夹，数据库，Hive表，列, Hbase, YARN等。此外，Ranger还能进行审计管理，以及策略分析，从而为Hadoop环境的深层次分析提供支持。 目前，Ranger支持对以下的Hadoop组件：HDFS, HBase, Hive, Yarn, Knox, Storm, Solr, Kafka。 HDP整合kerberos以及ranger进行细粒度权限控制 ： https://mp.csdn.net/console/editor/html/106575381 2、Ranger模块 Apache Ranger目前是Apache下的顶级项目，目的是通过制定策略(policies)实现对Hadoop组件的集中式安全管理。用户可以通过Ranager实现对集群中数据的安全访问。 Ranger由三个模块组成： Ranger portal: 提供给用户进行安全管理的界面 Ranger plugin: 嵌入在需要安全控制的组件进程中，提供两种功能： （1

hive工作常用语句 1.查看hadoop任务 yarn application -list |grep 用户名 yarn application -kill application_1443009203033_86621 2.liunx nohup命令 nohup ./label_driver.sh > /home/disk4/bi/driver_label/label_driver20150325.log 2>&1 & nohup ./testpass.sh > logs/testpass_20150323.log 2>&1 & 3.hive添加字段 ALTER TABLE label_driver_z add columns(total_miss_cnt int comment '累积爽约订单数'); 4.hive修改表分隔方式、修改空值描述符 ALTER TABLE city SET SERDEPROPERTIES ('field.delim' = '\t'); ALTER TABLE city SET SERDEPROPERTIES('serialization.format' = '\t'); ALTER TABLE city SET SERDEPROPERTIES('serialization.null.format' = ''); ALTER TABLE dm

Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台，允许使用简单的编程模型在大量的计算机集群上对大型数据集进行分布式处理。 下面是Hadoop的版本： HDFS （分布式文件系统）：解决海量数据存储 YARN (作业调度和集群资源管理的框架)：解决资源任务调度 MAPREDUCE (分布式运算编程框架)：解决海量数据计算 其中Hadoop2.0版本中多了YARN，更加合理的来解决资源任务调度问题，分解了Hadoop1.0版本中MapRuce的压力。 Hadoop特性优点： 扩容能力: Hadoop是可用的计算机集群间分配数据并完成计算任务的，这些集群可用方便的扩展到数以千计的节点中 成本低： Hadoop通过普通廉价的机器组成服务器集群来分发以及处理数据，以至于成本很低 高效率： 通过并发数据，Hadoop可以在节点之间动态并行的移动数据，使得速度非常快。 可靠性： 能自动维护数据的多份复制，并且在任务失败后能自动重新部署计算任务，所以Hadoop的按位存储和处理数据的能力值得人们信赖。 来源： oschina 链接： https://my.oschina.net/u/4373202/blog/4320928

D3的安装 npm安装：npm install d3 yarn安装：yarn add d3 简单了解相关SVG知识 什么是SVG SVG是一种XML应用，用来表示矢量图形。所有的图形有关信息被存储为纯文本，具有XML的开放性、可移植性和可交互性。 坐标定位 以页面的左上角为(0,0)坐标点，坐标以像素为单位，x轴正方向是向右，y轴正方向是向下。 矩形的表示以及特性 rect元素，使用x,y,width,height表示一个矩形。 fill属性——填充矩形的颜色，默认为黑色 < svg > < rect x = 0 y = 0 width = 50 height = 200 fill = "red" > </ rect > </ svg > 复制代码 效果展示 线段的表示以及特性 line元素，使用x1,y1,x2,y2属性指定线段的起止点坐标。默认为0 stroke属性——笔画颜色 stroke-width属性——笔画的宽度 < svg > < line y2 = 100 stroke = "red" > </ line > </ svg > 复制代码 效果展示 简单了解相关D3知识 选择集 d3.select(selector) 选中符合条件的第一个元素，选择条件为 selector 字符串。如果没有元素被选中则返回空选择集。 d3.selectAll(selector)

Electron: 使用 JavaScript, HTML 和 CSS 等 Web 技术创建原生程序的框架 Vue.js: Web 前端用于构建用户界面的渐进式框架 Vuetify: Vue.js 的 Material Design 组件框架 看完以上介绍，也明白了本文要做的事：用 Vue.js 与 Vuetify 组件，基于 Electron 来创建原生桌面应用。 环境准备 Visual Studio Code Node.js Yarn Vue CLI 创建 Vue.js 应用 添加 Vuetify 组件 添加 Electron 构建 发布 Electron 应用 参考 结语 环境准备 Visual Studio Code 建议使用的 VS Code 编辑代码，下载地址： https://code.visualstudio.com/ 。 同时可安装如下些扩展： ESLint: 代码检查 Prettier - Code formatter: 代码格式化 Vetur: Vue 代码工具 Vue 2 Snippets: Vue 代码提示（可选） 查看 VS Code 版本： $ code -v 1.46.1 cd9ea6488829f560dc949a8b2fb789f3cdc05f5d x64 Node.js Node.js 开发环境，下载地址： https://nodejs.org

问题： Error: Not implemented: HTMLCanvasElement.prototype.getContext (without installing the canvas npm package) 解决方案： yarn add jest-canvas-mock 然后在相应的单元测试中 加上 import 'jest-canvas-mock'; 来源： oschina 链接： https://my.oschina.net/u/2263272/blog/4468786

前言 我发现一旦手头的项目变多，且随着项目复杂度的提升，本来编码就已经是个够头痛的问题，再加上部署到生产环境就更心累了 😵。 之前在公司实习时，有一个 依据用户输入网址进行截屏 的项目，同时包含了 React 应用和 Node 应用。 部署 React 应用比较方便，只要通过 scp 将 build 后的 dist 目录放置在服务器上。 而 Node 应用则较为复杂： 由于它使用 TS 编写，同样需要将 build 后 dist 目录放置在服务器上 在根目录下新建目录并使用 chmod 修改权限，用于暂时放置截屏快照 更新 npm 包 重启 PM2（Node 进程管理工具） 在项目初期，版本迭代非常快，我每天都要反复执行以上步骤数次，waste time! 何况，在标准的开发流程中，我们还需引入 单元测试 、 覆盖率报告 、 代码风格检测 ……，并将应用部署到 不同环境的服务器 （开发、测试、生产）中，这无疑是一项繁琐的工作，本着 不想当运维的前端不是一个好全栈 的核心思想，我迫切需要解放我的双手。 TIP：结尾有源码链接 CI & CD 所谓前人栽树，后人乘凉，我的诉求早就在开发领域中被定义为两个专有名词： 持续集成（Continuous Integration），简称 CI 持续部署（Continuous Deployment），简称 CD 听起来很高大上

LearningSpark 今年早些时候Spark3.0发布，前几天看到Spark学习手册也发布了第二版涵盖Spark3.0功能，想起刚开始学习Spark时就是读的这本书，最近有空就直播读下Spark学习手册第2版这本书，若能帮助到一些人也是好的! 从2020年8月3号每天早上5:30读LearningSpark这本书，如果你想学习大数据学习Spark想早起就可以一起来 直播间 ，如果你错过了直播也可以看视频回放! 第一章 Spark简介：统一的分析引擎 Spark学习手册第二版 LearningSpark2.0 2020080301 LearningSpark之Spark缘起 2020080302 LearningSpark之Google名字的来历 2020080303 LearningSpark之大数据在Yahoo 2020080304 LearningSpark之Spark光芒初露 2020080401 LearningSpark之脱离了大数据的人工智能就是耍流氓 2020080402 LearningSpark之Spark的Speed 2020080403 LearningSpark之Spark的易用模块化易扩展 2020080404 LearningSpark之一统大数据分析 2020080501 LearningSpark之SparkSQL 2020080502

Yarn中的任务执行完成后，再想查看历史日志一般都查不到了，因为这时候运行任务的Container已经释放了，这种情况我们可以开启Yarn的日志聚合功能。 首先配置yarn-site.xml <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 配置YARN日志聚集功能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> <!-- 配置YARN日志聚集目录，默认/tmp/logs --> <property> <name>yarn.nodemanager.remote-app-log-dirs</name> <value>/tmp/logs</value> </property> <property> <name

前言 不知不觉，2020年已经过去一半了，最近突然反应过来自己也看了不少文献资料了，就想着把看过的文献和觉得比较好的书籍做一个总结，基本都是大数据分布式领域的，回顾自己学识的同时，也给想从事或这个领域的小伙伴一些参考 😃。最后顺便把接下来要看的东西列个列表，也会将自己学习的心得和经验分享出来，有需要的童鞋可以参考参考。 另外有些文献看完我会进行整理和输出，这部分链接我一并附在文献的介绍后面，后面看的书或是文献也会保持这种习惯，如果觉得有兴趣欢迎各位大佬交流，顺便也可以点波关注~~ 论文总结 MapReduce 《MapReduce Simplified Data Processing on Large Clusters》 从现在的眼光来看，Mapreduce可以说可圈可点。但在那个年代，这个思想可以说是相当先进的。不得不说Google一直引领技术潮流，包括近几年流行的k8s也是Google主导。 这篇文章主要介绍了Mapreduce的流程还有一些细节方面的介绍，如果已经有使用过Mapreduce编程的小伙伴应该看一遍就能懂。另外，看完如果想加以巩固的话，推荐做MIT6.824的Lab1，用go实现一个Mapreduce。至于什么是Mit6.824，百度一下就知道喔。我以前也有写过一篇介绍MR，有兴趣的童鞋不妨看看： 从分治算法到 Hadoop MapReduce 。 地址：