yarn

　 　最近搭建这个hadoop踩过不少坑，先是配置JDK搞错路径（普通用户和root用户下的路径不同），再就是hadoop版本不同导致的启动错误，网上找到的是hadoop2.*.*的版本，但是我安装的hadoop3.*.*的版本，环境配置有部分不同。希望大家不要重蹈覆辙！ 下载hadoop安装包 地址： http://hadoop.apache.org/ 安装配置 1.配置主机名: 　　将文件中原有的主机名删除，添加你自己的主机名，保存并退出。 vi /etc/hostname 2.配置hosts文件: 　　在文件最后增加机器的IP地址和刚才配好的主机名，保存并退出。 vi /etc/hosts 3.生成SSH密钥:执行以下命令，然后一直回车。来生成SSH密钥。生成的密钥文件会存放在/root/.ssh/目录下。前提是你用的root帐号登录并且生成的ssh密钥。 ssh-keygen 4.配置机器免密登录:执行以下命令、将刚才生成好的SSH密钥发送指定的机器上，来实现机器免密登录。 ssh- copy- id root@主机名 5.上传和解压下载好的Hadoop安装包，上传可以直接从xshell拖进目录 tar -zxvf hadoop-3.1.2.tar.gz(我这里写的是我的包名) 6.配置 hadoop-env.sh 文件：这个文件里写的是hadoop的环境变量

环境准备： 准备3台虚拟机(CentOS 7)，一台 master，两台 slaver。master 作为NameNode、DataNode、ResourceManager、NodeManager，slave 均作为DataNode、NodeManager。 master:10.0.83.71 slave1: 10.0.83.72 slave2:10.0.83.73 在每台机器上执行： 关闭防火墙： systemctl stop firewalld.service systemctl disable firewalld.service 修改每个ip对应的主机名并修改hosts文件 vi /etc/hosts 10.0.83.71 node1 10.0.83.72 node2 10.0.83.73 node3 设置3台虚拟机互相免密登录 分别在71，72，73上执行：ssh-keygen -t rsa 分别在每台机器上执行copy to其他2个机器地址： ssh-copy-id 10.0.83.71 ssh-copy-id 10.0.83.72 ssh-copy-id 10.0.83.73 创建数据存储和其他需要的目录 mkdir -p /data/hdfs/name mkdir -p /data/hdfs/data mkdir -p /data/hdfs/tmp mkdir -p

最近兴趣使然，想要学习typescipt、react、ant，巧不巧刚好可以凑成一套完成的解决方法，可惜过程却并不顺利，现在记录下来我的解决过程，供大家参考希望能顺利一次跑通 版本说明 create-react-app 版本号：4.0.0（2020年10月31日，内部自带react、typescript等） Ant Design of React 版本号：4.7.3 less 版本号：3.12.2 less-loader 版本号：7.0.2 node 版本号：12.13.0 npm 版本号：6.12.0 一、利用create-react-app脚手架安装项目 本人习惯用npm进行安装，喜欢yarn应该也能行的通（默认是yarn） npx create-react-app antd-demo-ts --typescript --use-npm 二、将所有内建的配置暴露出来 这一步相当关键，若不在第一次执行该步骤，可能会出错 npm run eject 暴露之后的目录结构 三、修改路径映射 在webpack.config.js的alias下增加 "@": path.resolve("src") ，以后就可以用 @ 对 src 文件下的文件进行索引啦~ "@": path.resolve("src") 截图： 四、引入ant 现在从 yarn 或 npm 安装并引入 antd。 npm

关于传授面试经验的文章太多了，眼花缭乱，我这里就不谈了，点进来想获取几吨面试学习资料的同学，抱歉让你失望了。（我是真的找不到那么多资料...）。所以，今天我们只聊面试官。 作为一只老鸟，我的面试经验还算丰富，无论是作为面试者还是面试官。其实这篇对于面试者来说也是有意义的，毕竟知己知彼，百战不殆，知道对方会从哪些方面问问题，从哪些方面考核，才能更好地提前做好准备。 首先，我觉得面试官有责任保证面试过程是一次高效的交流。你要获取到你需要的信息，对面试者做全方位的考量；面试者也要获取到他需要的信息，面试官（若面试成功很大可能是自己的上级）的水平，公司技术要求水平，自己是否适合这家公司，公司是否需要自己。 面试是一个双向选择的过程，面试官在选人，面试者在选公司。而面试者了解这家公司最直接的途径就是通过面试官。 说说面试官 我先说几个面试官常会有的问题。 问题问得太跳跃，想到什么问什么 抓住一个面试官自己很熟的知识点或者方向往死里问 ，完全不会根据面试者的回答情况做调整（我是来面试的，不是来看你炫技的） 只问技术，不问业务 技术问题问得太表面 当然我也见过不错的面试官，问题问得很有水平。那有水平的面试官会给人什么样的感觉？ 答得很舒服，不管结果怎么样，总之能展现出自己应有的水平 面试过程是有收获的，没有白来，知道了自己的欠缺 如果面试者是个到处抢着要的高手

1.准备一台客户机 2.安装JDK和hadoop 3.配置环境变量 4.配置集群在yarn上运 　　4.1配置环境变量 yarn-env.sh 增加exprt JAVA_HOME= mapred-env.sh 增加exprt JAVA_HOME= 　　4.2配置集群环境 　　　　由于yarn包含resourceManager和nodeManager\ApplicationManager以及Container，因此在此处先配置resourceManager和nodeManager 　　　　a.配置yarn-site.xml　　　 　　　　<!-- reducer获取数据的方式 --> 　　　　<property> 　　　　　　<name>yarn.nodemanager.aux-services</name> 　　　　　　 <value>mapreduce_shuffle</value> 　　　　</property> 　　　　<!-- 指定YARN的ResourceManager的地址 --> 　　　　<property> 　　　　　　<name>yarn.resourcemanager.hostname</name> 　　　　　　<value> hadoop101 </value><!--此处的红色标记必须在/etc/hosts文件中完成主机名城和Ip的映射配置--> 　　　　<

敲代码最糟心不过遇到自己和测试的环境都OK， 客户使用有各种各样还复现不了的问题，被逼无奈只能走到这一步：前端异常日志监控! vue官方文档 如下推荐： 就是说， vue有错误机制处理 errorHandler （错误机制处理也有 errorCaptured ），而Sentry利用这个钩子函数提供了集成。 那接下来就是使用了， 首先我们点一下上图中的官方集成四个大字，来到了sentry官方文档（中关于VUE的文档）： https://sentry.io/for/vue/ 。 Get Started！ 鉴于我跟着前人各种教程走过不少的坑， 我这笔记是要多啰嗦有多啰嗦的。 一、注册及创建项目。 注册地址： https://sentry.io/signup/?platform=vue 选择vue， 创建项目。 创建项目之后会出现详细步骤： 按照上图指示，在项目目录下安装：@sentry/browser 和 @sentry/integrations： # Using yarn $ yarn add @sentry /browser # Using npm $ npm install @sentry /browser # Using yarn yarn add @sentry /integrations # Using npm npm install @sentry

Vant是什么 简介 Vant是有赞开源的一套基于Vue2.0的Mobile组件库。通过Vant,可以快速搭建出风格统一的页面,提升开发效率。目前已有近50个组件,这些组件被广泛使用于有赞的各个移动端业务中。Vant旨在更快、更简单地开发基于Vue的美观易用的移动站点。特性组件都是来源于有赞的微商城业务,并且经过有赞业务的检验,更靠谱完善详实的中文文档专门的设计师团队维护视觉规范,统一而优雅支持babel-plugin-import单测覆盖率超过90%建议搭配webpack,babel使用Vant。 有赞 看完，你可能会问，“有赞”是什么鬼？ 好像是一个微商城，帮你搭建微商网站的好像，而且在香港已上市，好像是浙江的公司，看官网的网址注册2012年就有了，不过我之前没听过。 既然是搭建平台的公司，所以技术应该还可以。 官网： https://www.youzan.com/?from_source=baidu_pz_shouye_0 流行度 流行度怎样？坦白说，我也不知道，但是根据不怎么好。因为不可能统计到多少人在用，只能通过github上的star、各大技术论坛、博客的出现频率来判断流行度。 我百度搜索“vue.js ui库”，出现了很多ui库，但都没有见vant的踪影，主要是element、vux、ivew等这些。不过，既然项目在用，学习一下也是很好的。 推荐21个顶级的Vue

简介： 鉴于有很多企业都无法配备专门的团队来解决 Flink SQL 平台化的问题，那么到底有没有一个开源的、开箱即用的、功能相对完善的组件呢？答案就是本文的主角——Apache Zeppelin。 作者：LittleMagic 大数据领域 SQL 化开发的风潮方兴未艾（所谓"Everybody knows SQL"），Flink 自然也不能“免俗”。Flink SQL 是 Flink 系统内部最高级别的 API，也是流批一体思想的集大成者。用户可以通过简单明了的 SQL 语句像查表一样执行流任务或批任务，屏蔽了底层 DataStream/DataSet API 的复杂细节，降低了使用门槛。 但是，Flink SQL 的默认开发方式是通过 Java/Scala API 编写，与纯 SQL 化、平台化的目标相去甚远。目前官方提供的 Flink SQL Client 仅能在配备 Flink 客户端的本地使用，局限性很大。而 Ververica 开源的 Flink SQL Gateway 组件是基于 REST API 的，仍然需要二次开发才能供给上层使用，并不是很方便。 鉴于有很多企业都无法配备专门的团队来解决 Flink SQL 平台化的问题，那么到底有没有一个开源的、开箱即用的、功能相对完善的组件呢？答案就是本文的主角——Apache Zeppelin。 Flink SQL on

主要内容： mapreduce编程模型再解释； ob提交方式： windows->yarn windows->local ； linux->local linux->yarn； 本地运行debug调试观察 mapreduce体系很庞大，我们需要一条合适的线，来慢慢的去理解和学习。 1、mapreduce编程模型和mapreduce模型实现程序之间的关系 1.1、mapreduce的编程模型 对mapreduce的总结： 　　 　如果只考虑数据处理的逻辑，撇开分布式的概念，其实mapreduce就只是一个编程模型了，而不是一个框架了。 在这个编程模型里数据处理分为两个节点，一个map阶段一个reduce阶段。 　　　map阶段要做的事情：就是吧原始的输入数据转换成大量的key-value数据，结合wordcont实例，key相同的数据会作为一组，形成若干组数据，接着就是这些组数据，一组一组的进行reduce阶段处理，每组reduce一次。 　　　reduce阶段要做的事情：一组（key相同的数据）聚合运算一次。 一wordcount为例： 数据被一行一行的读进来，按照空格进行拆分，将句子形成一个个（word，1）形式的键值对，map阶段就结束了；reduce阶段就是把单词相同的数据作为一组进行聚合，聚合逻辑就是把该组内的全部value累加在一起。 1.2、关系梳理