yarn

3 月，跳不动了？>>> flink yarn flink on yarn有两种模式，分别是session cluster和per job #####session cluster session cluster是一个long running的模式，先拉起一个flink集群，然后大家向这个集群提交任务 集群启动的脚本如下 bin/yarn-session.sh -n4 -jm1024 -tm 4096 -s 2 任务运行模式 同步和异步 主要体现命令的区别在如下 同步 bin/flink run -c mainClass /path/to/user/jar 异步 bin/flink run -d -c mainClass /path/to/user/jar per job per job，是每个任务对应一个集群，每次提交的时候会单独拉一个集群起来，任务run的命令如下 同步 bin/flink run -m yarn-cluster -d -c mainClass /path/to/user/jar 异步 bin/flink run -d -m yarn-cluster -d -c mainClass /path/to/user/jar 来源： oschina 链接： https://my.oschina.net/u/1262062/blog/3210456

3 月，跳不动了？>>> 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种情况，都会导致Spark作业的运行效率低下，甚至根本无法运行。因此我们必须对Spark作业的资源使用原理有一个清晰的认识，并知道在Spark作业运行过程中，有哪些资源参数是可以设置的，以及如何设置合适的参数值。 1、Spark作业基本运行原理 详细原理见上图。我们使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。根据你使用的部署模式（deploy-mode）不同，Driver进程可能在本地启动，也可能在集群中某个工作节点上启动。Driver进程本身会根据我们设置的参数，占有一定数量的内存和CPU core。而Driver进程要做的第一件事情，就是向集群管理器（可以是Spark Standalone集群，也可以是其他的资源管理集群，美团•大众点评使用的是YARN作为资源管理集群）申请运行Spark作业需要使用的资源

3 月，跳不动了？>>> 来源： oschina 链接： https://my.oschina.net/u/4313085/blog/3209516

npm和yarn使用 他们都属于js包管理工具，都可以安装包或者模块 yarn 是由facebook、google等联合开发推出的 区别： npm 下载包的话 比如npm install，它是按照包的排序，也就是队列挨个下载，一个下载完成后，再下载另一个 yarn是将要下载的包进行同时下载，并行下载，速度快。 离线模式：如果之前已经安装过一个软件包，用Yarn再次安装时之间从缓存中获取，就不用像npm那样再从网络下载了。 yarn 一直都有lock 文件，功能和npm 的package.lock.json差不多。 npm版本5.0 之后，会自带package.lock.json 文件，当你删除了node_modules后，该文件主要描述了你项目中安装的包都是哪一个版本，你再进行npm install 的话，会安装指定版本的包。 命令不同 npm install == yarn npm isntall vue == yarn add vue npm uninstall vue == yarn remove vue npm update == yarn upgrade 来源： https://www.cnblogs.com/dlm17/p/12516959.html

目录 最终效果 思路 总体 过程 用到的东西 相关 创建Github仓库 创建Github仓库 SSH密钥链接Github 生成SSH密钥 Github添加SSH密钥 测试SSH密钥 配置VuePress 安装VuePress 安装yarn Debian / Ubuntu Windows 更换国内的源 安装VuePress VuePress目录结构 配置依赖和脚本 配置package.json 页面的设置 首页 文档属性 markdown扩展 默认主题设置 导航栏 侧边栏 Git仓库 其他 插件 config.js所有内容 TravisCI生成和发布 创建gh-pages分支 deploy.sh部署文件 Travis CI 部署文件 生成和使用 Token 生成Token Travis CI 绑定和配置 绑定 Github 账号 添加 Token 推送到Github 完成 最新博客链接 VuePress 在线文档链接_Github Pages VuePress 在线文档链接_博客服务器 （如果上面进不去，可以进这个，服务器在阿里云） Github链接 最终效果 最终效果链接 思路 总体 VuePress 在本地完成项目的源文件，推送至 Github 触发 Travis CI 自动构建目标文件，完成后自动部署到另一个 Github 分支，此分支作在线文档使用。

vue.js安装 官网： http://cn.vuejs.org/ 官方安装介绍： http://cn.vuejs.org/v2/guide/installation.html MVVM框架 ：View、ViewModel、Model npm安装参考文章： http://www.cnblogs.com/shhnwangjian/p/6559732.html 基于网络原因，建议将 npm 的注册表源设置为国内的镜像，可以大幅提升安装速度。 本文使用淘宝镜像，使用 cnpm (gzip 压缩支持) 命令行工具代替默认的 npm npm install -g cnpm --registry=https://registry.npm.taobao.org 安装vue-cli命令行工具 # 全局安装 vue-cli $ cnpm install --global vue-cli # 创建一个基于 webpack 模板的新项目 $ vue init webpack my-project # 安装依赖，走你 $ cd my-project $ cnpm install $ cnpm run dev 代码风格检查：eslint 构建工具：webpack 前端路由：vue-router 状态管理：vuex 服务端通讯：vue-resource 项目my-project目录中package

一、datanode添加新节点 1 在 dfs.include 文件中包含新节点名称，该文件在名称节点的本地目录下 [ 白名单 ] [s201:/soft/hadoop/etc/hadoop/dfs.include] 2 在 hdfs-site.xml 文件中添加属性 <property> <name>dfs.hosts</name> <value>/soft/hadoop/etc/dfs.include.txt</value> </property> 3 在 nn 上刷新节点 Hdfs dfsadmin -refreshNodes 4 在 slaves 文件中添加新节点 ip （主机名） 5 单独启动新节点中的 datanode Hadoop-daemon.sh start datanode 二、datanode退役旧节点 1 添加退役节点的 ip 到黑名单 dfs.hosts.exclude, 不要更新白名单 [/soft/hadoop/etc/dfs.hosts.exclude] 2 配置 hdfs-site.xml <property> <name>dfs.hosts.exclude</name> <value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value> </property> 3 刷新 nn 的节点 hdfs

3 月，跳不动了？>>> Flink支持多种安装模式。 local（本地）——单机模式，一般不使用 standalone——独立模式，Flink自带集群，开发测试环境使用 yarn——计算资源统一由Hadoop YARN管理，生产环境测试 Standalone模式 步骤 1. 解压flink压缩包到指定目录 2. 配置flink 3. 配置slaves节点 4. 分发flink到各个节点 5. 启动集群 6. 提交WordCount程序测试 7. 查看Flink WebUI 具体操作 1. 上传flink压缩包到指定目录 2. 解压缩flink到 /export/servers 目录 tar -xvzf flink-1.6.0-bin-hadoop26-scala_2.11.tgz -C /export/servers 3. 使用vi修改 conf/flink-conf.yaml # 配置Master的机器名（IP地址） jobmanager.rpc.address: node-1 # 配置每个taskmanager生成的临时文件夹 taskmanager.tmp.dirs: /export/servers/flink-1.6.0/tmp 4. 使用vi修改slaves文件 node-1 node-2 node-3 5. 使用vi修改 /etc/profile 系统环境变量配置文件

3 月，跳不动了？>>> 来源： oschina 链接： https://my.oschina.net/u/4365833/blog/3207512

使用方式有两种，一种是google 的 控制台选择audis -》 run audis 另一个是本地全局安装推荐全局安装。 首先全局安装lighthouse: npm install -g lighthouse //or use yarn: // yarn global add lighthouse** 然后在终端输入命令，我使用的是博客园首页地址 lighthouse https://www.xxx.com/ 来源： 51CTO 作者： 蠢蠢的蜗牛 链接： https://blog.51cto.com/13496570/2446255