yarn

一、 Hadoop 集群动态扩容、缩容 随着公司业务的增长，数据量越来越大，原有的 datanode 节点的容量已经不能满足存储数据的需求，需要在 原有集群基础上动态添加新的数据节点 。也就是俗称的 动态扩容 。 有时候旧的服务器需要进行退役更换，暂停服务，可能就需要在 当下的集群中停止某些机器上 hadoop 的服务 ，俗称 动态缩容 。 1． 动态扩容 1.1． 基础准备 在基础准备部分，主要是设置 hadoop 运行的系统环境 修改新机器系统 hostname （通过 /etc/sysconfig/network 进行修改） 修改 hosts 文件，将集群所有节点 hosts 配置进去（集群所有节点保持 hosts 文件统一） 设置 NameNode 到 DataNode 的免密码登录（ ssh-copy-id 命令实现） 修改主节点 slaves 文件，添加新增节点的 ip 信息（ 集群重启时配合一键启动脚本使用 ） 在新的机器上上传解压一个新的 hadoop 安装包，从主节点机器上将 hadoop 的所有配置文件， scp 到新的节点上。 1.2． 添加 datanode 在 namenode 所在的机器的 /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 目录下创建 dfs.hosts 文件 cd /export

Mobx中文文档 项目搭建 在 npx create-react-app katsuki 的基础上安装依赖 路由安装 yarn add react-router-dom --save Mobx 安装 yarn add mobx --save yarn add mobx-react --save @装饰器语法 安装 decorators 即 @ 依赖配合 mobx 使用 yarn add --save-dev @babel/plugin-proposal-decorators 释放配置文件 npm run eject 出错，提示需要提交，执行下面操作 git add . git commit -m "katsuki" 修改package.json文件 "babel" : { "presets" : [ "react-app" ] , + "plugins" : [ + [ + "@babel/plugin-proposal-decorators" , + { + "legacy" : true + } + ] + ] + } 建议执行 eject 后再 yarn 安装依赖，若先前执行过 yarn 则要删除整个 node_modules 重新执行 yarn 使用 css 文件时，需要命名为 styles.module.css ，因运行 eject 配置文件发生变化 装饰器调用报错

Hadoop常见的端口 Hadoop生态圈 Hadoop配置文件以及简单的Hadoop集群搭建 Hadoop参数调优 项目经验之基准测试 Hadoop宕机 Hadoop 高可用配置 Hadoop 常见的端口  dfs.namenode.http-address:50070  dfs.datanode.http-address:50075  SecondaryNameNode辅助名称节点端口号：50090  dfs.datanode.address:50010  fs.defaultFS:8020 或者9000  yarn.resourcemanager.webapp.address:8088  历史服务器web访问端口：19888 Hadoop 生态圈 然后就是各个组件的介绍了，简单的介绍一下就好了。比如说: Flume: 一个高可用的，高可靠的，分布式的海量数据日志采集，聚合和传输的系统； Zookeeper: 是一个基于观察者模式设计的分布式服务管理框架，他负责存储和管理大家都关心的数据，然后接受管擦者的注册，一旦这些数据的状态发生了变化，Zookeeper就将负责通知已经在Zookeeper上注册的观察者做出相应的反应。 Hadoop配置文件以及简单的Hadoop集群搭建 （1）配置文件： core-site.xml <configuration> <!--

目录 运行结构图 & 常用术语 消息通信原理 运行流程图 调度算法 容错及HA 监控 一、运行结构图 & 常用术语 Application: Appliction都是指用户编写的Spark应用程序，其中包括一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码 SparkContext: Spark应用程序的入口，负责调度各个运算资源，协调各个Worker Node上的Executor Driver: Spark中的Driver即运行上述Application的main函数并创建SparkContext，创建SparkContext的目的是为了准备Spark应用程序的运行环境，在Spark中有SparkContext负责与ClusterManager通信， 进行资源申请、任务的分配和监控 等，在执行阶段，Driver会将Task和Task所依赖的file和jar序列化后传递给对应的Worker机器。当Executor部分运行完毕后，Driver同时负责将SparkContext关闭，通常用SparkContext代表Driver Cluter Manager： 指的是在集群上获取资源的外部服务。目前有三种类型 Standalone : spark原生的资源管理，由Master负责资源的分配 Apache Mesos:与hadoop

一、 VM虚拟环境搭建（详细讲解） 说明：在windos10上使用VmWare Workstation创建3节点Hadoop虚拟环境 创建虚拟机 下一步 设置虚拟机主机名和介质存放路径 设置20G磁盘大小 选择“自定义硬件” 配置网络模式为NAT模式 配置虚拟机启动镜像 到这里，使用虚拟机克隆技术配置另外两台slave 同理克隆slave2, 步骤省略 此时windos网络连接里面会出现两张虚拟网卡 接下来就是给虚拟机配置IP网络 虚拟机网卡IP要和NAT模式的IP是在同一个段，虚拟机才能通过windos笔记的VMnet8网卡与互联网通信 接下来启动虚拟机配置操作系统IP网络（具体配置过程省略） 二、Hadoop2.6.5+centos7.5三节点集群搭建步骤 1、环境规划 Hadoop2.6.5+centos7.5 2、配置集群中主机域名访问解析 [root@master ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.11.10 master 192.168.11.11

目录 概念简介 Hadoop Yarn组件介绍: ResourceManager(RM) NodeManager(NM) ApplicationMaster(AM) Container Yarn-Cluster模式 Spark On Yarn 一、 SparkSubmit 分析 二、转到 Client 三、ApplicationMaster 四、 CoarseGrainedExecutorBackend 分析 五、Yarn-client与Yarn-cluster的区别 概念简介 Hadoop Yarn组件介绍: 我们都知道yarn重构根本的思想，是将原有的JobTracker的两个主要功能资源管理器 和 任务调度监控 分离成单独的组件。新的架构使用全局管理所有应用程序的计算资源分配。 主要包含三个组件ResourceManager 、NodeManager和ApplicationMaster以及一个核心概念Container。（别人的） ResourceManager(RM) 　 就是所谓的资源管理器，每个集群一个，实现全局的资源管理和任务调度。它可以处理客户端提交计算作业的请求，启动并监听ApplicationMaster，监控NodeManager，进行资源分配与调度。每一个应用程序需要不同类型的资源，因此就需要不同的容器。这里的资源包括内存、CPU、磁盘、网络等。（比如

安装项目的全部依赖node_modules yarn 或 yarn install 加载node_modules 生成项目dist 生成目录的前提是安装了相关的包，比如这个项目用的是taro，就要先把taro安装好（而且要版本号一致） # 使用 npm 安装 CLI $ npm install -g @tarojs/cli@1.3.25 # OR 使用 yarn 安装 CLI $ yarn global add @tarojs/cli@1.3.25 # OR 安装了 cnpm，使用 cnpm 安装 CLI $ cnpm install -g @tarojs/cli@1.3.25 yarn dev:weapp // --watch 监控文件修改 或 yarn build:weapp // 一次性 如果使用dev，每次更改内容，都会自动更新dist文件夹，开发小程序很方便。 来源： https://www.cnblogs.com/jiqing9006/p/12165807.html

yarn 的 job 提交过程 各个角色作用： 各个角色作用： resourcemanager的作用 resourcemanager 1 ) 接受客户端的请求 job提交 2）接受mrappmaster的请求 3）进行资源分配和调度 4）接受nodemanager 心跳 5）监控nodemanager 资源使用状况 nodemanager的作用 nodemanager： 1）接受resourcemanager 命令 2）接受mrappmaster 命令 3）向rm发送心跳 4）监控自身的资源使用状况 来源： CSDN 作者： IT小鸟鸟 链接： https://blog.csdn.net/u013111855/article/details/103878499

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 在安装好hadoop2.2.0集群后，依次执行start-dfs.sh和start-yarn.sh脚本启动hadoop相关的服务。各个服务均能正常启动。但是过了一段时间后会发现nodemanager会自动失败退出。 检查日志信息发现一直报本机与一个0.0.0.0的连接失败，然后继续与进行通信尝试一段时间后nodemanager失败。具体信息如下： org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.ConnectException: Call From node2/222.18.159.123 to 0.0.0.0:8031 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused Caused by: java.net.ConnectException: Call From node2/222.18.159.123 to 0.0.0.0:8031 failed on connection

上一篇： 使用Theia——构建你自己的IDE 创建Theia扩展包 　　本例中，我们将添加一个菜单项“Say hello”用来显示一个通知“Hello world!”。本文将指导你完成所有必要的步骤。 Theia的架构 　　Theia应用程序由所谓的扩展包（ extensions ）构成。一个扩展包提供一组特定功能的小部件、命令和处理程序等。Theia本身提供了一些扩展包，如编辑器、终端、项目视图等。每一个扩展包都属于它们各自的npm包。 　　Theia定义了大量的contribution接口，允许扩展包将功能添加到应用程序的各个部分。只需要按名称搜索 *Contribution 就可以找到这些接口。扩展包实现了这些contribution接口的具体功能。在本例中，我们将实现 CommandContribution 和 MenuContribution 。扩展包与Theia应用程序之间还可以通过各种 services 和 managers 来进行交互。 　　在Theia中，所有的东西都是通过依赖注入（ Dependency Injection ）的方式连接起来的。一个扩展包定义了一个或多个依赖注入模块。这些依赖注入模块就是绑定并实现contribution接口的地方，它们被列在扩展包的 package.json 文件中。扩展包可以用于前端，例如提供UI扩展，也可以用于后端