yarn

在说Hadoop Yarn之前，我们先来看看Yarn是怎样出现的。在古老的Hadoop1.0中，MapReduce的JobTracker负责了太多的工作，包括资源调度，管理众多的TaskTracker等工作。这自然就会产生一个问题，那就是JobTracker负载太多，有点“忙不过来”。于是Hadoop在1.0到2.0的升级过程中，便将JobTracker的资源调度工作独立了出来，而这一改动，直接让Hadoop成为大数据中最稳固的那一块基石。， 而这个独立出来的资源管理框架，就是Hadoop Yarn框架 。 一. Hadoop Yarn是什么 在详细介绍Yarn之前，我们先简单聊聊Yarn，Yarn的全称是 Yet Another Resource Negotiator ，意思是“ 另一种资源调度器 ”，这种命名和“有间客栈”这种可谓是异曲同工之妙。这里多说一句，以前Java有一个项目编译工具，叫做Ant，他的命名也是类似的，叫做“Another Neat Tool”的缩写，翻译过来是”另一种整理工具“。 既然都叫做资源调度器了，那么自然，它的功能也是负责资源管理和调度的，接下来，我们就深入到Yarn框架内部一探究竟吧。 二. Hadoop Yarn主要架构 这张图可以说是Yarn的全景图，我们主要围绕上面这张图展开，介绍图中的每一个细节部分。首先

再写 HDFS Federation机制的时候，发现基础不扎实，需要将之前的hadoop再详细记录一下原理（重点只说Hadoop2.0版本）： Hadoop2.0版本，引入了Yarn。核心：HDFS+Yarn+Mapreduce Yarn是资源调度框架。能够细粒度的管理和调度任务。此外，还能够支持其他的计算框架，比如spark等。 存储的基础知识以及原理： 元数据信息和具体数据，分别对应namenode和datenode: namenode 工作职责： 1.要知道管理有哪些机器节点，即有哪些datanode。比如ip信息等。 2.要管理文件信息，文件名、文件多大、文件被切成几块、以及每一块的存贮位置信息（存在哪个datanode节点上了），即管理元数据信息。 3.要有一个机制要知道集群里datanode节点的状态变化。可以rpc心跳机制来做到。 4.namenode存在单点故障问题，可以再引入一台管理者节点。 5.datanode挂掉后，可能数据就丢失，文件就不完整了，要有一个备份机制，一般来说，一个文件块，有3个备份，本机一份，同一机架的其他datanode有一份，另外一机器的机器上有一份。 管理元数据信息，文件名，文件大小，文件块信息等。 namdenode把元数据信息存到内存里，为了快速查询，此外为了应对服务宕机而引起的元数据丢失，也要持久化到本地文件里。

前 面 介 绍 了前端架构设计的交互概念 篇和组件的简单介绍， 下 面 介 绍 下我 在 开 发 过 程 中 对 于 开 发 环 境 的 思 考 ： N p m & Y a r n 开 始 先 说 两 个 工 具 ， n p m 和 y a r n ， 之 前 两 年 多 的 项 目 都 是 用 n p m 管 理 包 的 ， y a r n 是 最 近 才 用 到 。 两 者 对 于 我 来 说 作 用 差 不 多 ， 参 照 的 案 例 是 哪 个 ， 我 基 本 上 就 用 了 哪 个 。 在 实 际 执 行 中 很 可 能 会 报 些 找 不 到 某 个 安 装 包 的 问 题 ， 这 都 是 正 常 现 象 ， 遇 到 问 题 ， 一 般 单 独 安 装 即 可 。 同 时 为 了 方 便 ， 可 把 n p m 源 设 置 成 t a o b a o 镜 像 。 n p m c o n f i g s e t r e g i s t r y h t t p s : / / r e g i s t r y . n p m . t a o b a o . o r g n p m c o n f i g g e t r e g i s t r y / / 查 看 > h t t p s : / / r e g i s t r y . n p m . t a o b a o .

　　JobManager协调每个flink应用的部署，它负责执行定时任务和资源管理。 　　每一个Flink集群都有一个jobManager, 如果jobManager出现问题之后，将不能提交新的任务和运行新任务失败，这样会造成单点失败，所以需要构建高可用的JobMangager。 　　类似zookeeper一样，构建好了高可用的jobManager之后，如果其中一个出现问题之后，其他可用的jobManager将会接管任务，变为leader。不会造成flink的任务执行失败。可以在单机版和集群版构建jobManager。 　　下面开始构建一个单机版flink的JobManger高可用HA版。 　　首先需要设置SSH免密登录，因为启动的时候程序会通过远程登录访问并且启动程序。 　　执行命令，就可以免密登录自己的机器了。如果不进行免密登录的话，那么启动的hadoop的时候会报 "start port 22 connection refused"。 ssh-keygen - t rsa ssh -copy- id -i ~/. ssh /id_rsa.pub huangqingshi@localhost 　　接下来在官网上下载hadoop的binary文件，然后开始解压，我下载的版本为hadoop-3.1.3版本

1、格式化NameNode： hadoop namenode -format 2、hdfs集群单节点启动：hadoop-daemon.sh start namenode; hadoop-daemon.sh start datanode; hadoop-daemon.sh stop namenode； hadoop-daemon.sh stop datanode； hadoop-daemon.sh start secondarynamenode; hadoop-daemon.sh stop secondarynamenode; 3、web端查看HDFS界面： http://hadoop125:50070/dfshealth.html#tab-overview ; http://hadoop127:50090/status.html 4、yarn集群单节点启动：yarn-daemon.sh start resourcemanager；yarn-daemon.sh start nodemanager； yarn-daemon.sh stop resourcemanager；yarn-daemon.sh stop nodemanager; mr-jobhistory-daemon.sh start historyserver; 5、web端查看YARN界面： http:/

目录 1. 数禾科技 2. 云上自建CDH 3. 云上混合架构 4. 阿里云第一代数据湖 4.1. 什么是数据湖 4.2. 阿里云数据湖设计 4.2.1. 阿里云数据湖整体架构 4.2.2. 统一存储和元数据管理 4.2.3. 多EMR多OSS桶设计 4.2.4. 分布式调度系统设计 4.2.5. 用户权限系统设计 4.2.6. EMR弹性伸缩设计 4.2.7. 负载均衡管理 4.2.8. OSS桶生命周期管理 4.2.9. 日志管理 4.2.10. 终端权限管理 4.2.11. 组件UI管理 4.2.12. 监控告警管理 4.2.13. 即席查询设计 4.2.14. 集群安全组设计 4.2.15. 数据脱敏设计 4.2.16. YARN队列设计 4.3. 数据湖EMR治理 4.3.1. 调整EMR预伸缩时间 4.3.2. 更改EMR弹性伸缩策略 4.3.3. 优化EMR云盘空间 4.3.4. EMR机器组的选择 4.3.5. EMR成本控制 4.3.6. 购买RI预留抵扣券 4.3.7. 弹性保障 4.4. 数据湖OSS治理 4.4.1. 数仓ODS多版本桶治理 4.4.2. 数仓日志桶治理 4.4.3. 数仓桶和集市桶治理 4.4.4. 监控桶内对象 5. 阿里云第二代数据湖 5.1. 阿里云数据湖构建 5.2. 阿里云数据湖解决方案 1.数禾科技 数禾科技成立于2015年8月

1.安装bootstrap composer require laravel/ui --dev 2.引入bootstrap php artisan ui bootstrap 3.Bootstrap 是以 NPM 扩展包的形式集成到 Laravel 项目中的. 在package.json中可发现： bootstrap —— Bootstrap NPM 扩展包； jquery —— jQuery NPM 扩展包； laravel-mix —— 由 Laravel 官方提供的静态资源管理工具。 这些扩展包，为 Laravel 提供了一套完整的前端工作流。 4.可以使用 NPM 对这些扩展包进行安装。 先使用国内镜像加速： $ npm config set registry=https: // registry.npm.taobao.org $ yarn config set registry ' https://registry.npm.taobao.org ' 5.使用 Yarn 对扩展包进行安装，请在项目根目录下运行以下命令进行安装： $ yarn install --no-bin- links $ yarn add cross - env 6.编辑 resources/sass/app.scss @import ' ~bootstrap/scss/bootstrap ' ; 7.将