yarn

安装环境 python2 安装Python2.7, 下载安装包直接安装 https://www.python.org/downloads/release/python-2717/ 修改变量名, 加入path node >= 11 直接安装后加入path ubuntu18 安装nodejs 奇怪的是安装后提示依然是10 安装node的版本管理 n sudo npm i n -g sudo n stable clone仓库 https://github.com/crimx/ext-saladict.git 执行打包 必须使用yarn, 使用npm运行失败, 且需要事先全局安装webpack yarn yarn build yarn zip 安装拓展包 来源： oschina 链接： https://my.oschina.net/ahaoboy/blog/3169094

版本说明：hadoop版本是hdp2.5.0.0-1245 hdfs版本 2.7.3.2.5.0.0-1245 yarn版本2.7.3.2.5.0.0-1245 namenode的active节点挂了切换成standby状态失败，standby节点切换成active节点，这种情况会导致hive cli长时间连接不上hive, 用 hive --hiveconf hive.root.logger=DEBUG,console 这个命令在控制台看日志信息会发现后台一直在尝试连之前的active节点 折腾了一番没有解决这个问题，后来在 https://community.cloudera.com/t5/Community-Articles/hive-cli-access-taking-long-time-if-standby-namenode-is/ta-p/245278 找到了解决方法，需要在 yarn-site.xml 配置文件里增加一个yarn的参数 ，参数如下 yarn.timeline-service.entity-group-fs-store.retry-policy-spec=1000, 1 来源： oschina 链接： https://my.oschina.net/u/4463357/blog/3170928

spark-submit提交 ! 注意 :提交命令写在 shell脚本 中,各个参数之间 不能有注释 ,亲测报错 spark-submit可以提交到spark集群执行,也可以提交到hadoop的yarn集群执行 1.一个最简单的例子，部署 spark standalone 模式后，提交到本地执行。 ./bin/spark-submit \ --master spark://localhost:7077 \ examples/src/main/python/pi.py 2.如果部署 hadoop，并且启动 yarn 后，spark 提交到 yarn 执行的例子如下。 　　注意，spark 必须编译成支持 yarn 模式，编译 spark 的命令为： ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 1 \ --queue thequeue \ examples/target/scala-2.11/jars/spark-examples*.jar 10 spark-submit 详细参数说明 参数名 参数说明 -

spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 1）./spark-shell --help ：不知道如何使用，可通过它查看命令帮助，[]中括号里面的表示可选的。 2）重要参数讲解： --master master 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local --name 这个是指定你的application name 应用名称。 --jars 这个是用comma逗号分隔的一系列包含driver和executor的环境变量的包。 --conf 这个是指定一些配置的参数。 --driver-* 这个是指定driver的memory、class-path等。 --executor-memory 这个是设置executor端的内存。 --executor-core 指定executor的core资源 --driver-core 指定driver的core资源 --queue 生产上肯定是以队列的方式来提交的 --num-executor 指定executor 执行者的个数 ----------------------------------------------------------------------------- 原文：https://blog.csdn

解决self.env.emit is not a function报错 报错内容 TypeError: self.env.emit is not a function at /usr/local/share/.config/yarn/global/node_modules/yeoman-generator/lib/index.js:653:22 at processTicksAndRejections (internal/process/task_queues.js:97:5) Emitted 'error' event on Generator instance at: at Immediate. (/usr/local/share/.config/yarn/global/node_modules/yeoman-generator/lib/index.js:668:20) at processImmediate (internal/timers.js:456:21) error Command failed. Exit code: 1 Command: /usr/local/bin/create-umi Arguments: Directory: /data/projects/umi1 Output: info Visit https://yarnpkg.com/en/docs

hadoop-2.8.4 本地模式 配置免密登录 ssh - keygen 将公钥拷贝到要免密登录的目标机器上 ssh - copy - id 主机名1 记录ssh访问过计算机的公钥 ( public key ) cat / root / . ssh / known_hosts scp scp / etc / hosts root @bigdata1112 : / etc / scp test . tar . gz ip: / opt / svn / 配置环境变量 vi / etc / profile export JAVA_HOME= / opt / mod / jdk1 . 8 . 0_144 export PATH= $PATH : $JAVA_HOME / bin export HADOOP_HOME= / opt / mod / hadoop - 2 . 8 . 4 export PATH= $HADOOP_HOME / bin: $PATH : $HADOOP_HOME / sbin source / etc / profile 统计test文件的单词个数 / opt / soft / hadoop - 2 . 8 . 4 / share / hadoop / mapreduce hadoop jar hadoop - mapreduce - examples - 2

为什么慢 # 执行 yarn 各种命令的时候，默认是去 npm/yarn 官方镜像源获取需要安装的具体软件信息 以下命令查看当前使用的镜像源 yarn config get registry 默认源地址在国外，从国内访问的速度肯定比较慢 如何修改镜像源 阿里旗下维护着一个完整的 npm 镜像源 https://registry.npm.taobao.org/ 同样适用于 yarn 1. 临时修改 yarn save 软件名 --registry https://registry.npm.taobao.org/ 2. 全局修改 yarn config set registry https://registry.npm.taobao.org/ 3. 使用第三方软件快速修改、切换 yarn 镜像源 yrm YARN registry manager yrm 不仅可以快速切换镜像源，还可以测试自己网络访问不同源的速度 安装 yrm npm install -g yrm 列出当前可用的所有镜像源 yrm ls npm ----- https://registry.npmjs.org/ cnpm ---- http://r.cnpmjs.org/ taobao -- https://registry.npm.taobao.org/ nj ------ https://registry

想必读者朋友们在 官宣：ReactNative导航库重大更新 这篇文章中了解到了，React Native官方推荐的路由导航库React Navigation更新到了第5版，也了解到了具体的提升和变化的地方，感兴趣的朋友可以仔细阅读这篇文章来了解一下新版和之前版本的差异。 新版本的React Navigation相比较之前的版本，无论是安装或者项目中集成的方法和步骤，都发生了很大的变化，接下来跟着这篇文章来一一了解一下。 @[toc] 安装 使用下面的命令添加react navigation的基础依赖 yarn add @react-navigation/native 使用如下命令添加其他的配置依赖项内容，比如： react-native-gesture-handler, react-native-reanimated 等 yarn add react-native-reanimated react-native-gesture-handler react-native-screens react-native-safe-area-context @react-native-community/masked-view 如果你的React Native项目的版本在0.60以上，那么安装依赖就完成，如果项目版本低于0.60，使用 react-native link

提要 最近刚刚完成了一个vue的项目，其中涉及的用户数有6000多个以及其他数据也比较多，为了在前端能够真实的进行数据模拟，所有把全量数据拷贝下来放到了api.json中。这样导致整个api.json文件过大，每次进行修改的时候编辑器都会卡顿。 项目做完后就在想能不能把大量的模拟数据放在数据库中进行管理，用nodejs来操作数据库。顺便再熟练一下nodejs。 代码github地址： https://github.com/boychina/yarn-react-express.git 使用的技术栈 express 是nodejs当前最流行的后台框架。官网对express的描述，它是一个机遇Node.js平台，快 速、开放、极简的web开发框架。优点是易上手、高性能、扩展性强： 易上手：nodejs最初是为了开发高兴能web服务器而被设计出来的，然而相对底层的API会让不少新手望而却步。express对web开发相关的模块进行了适度的封装，屏蔽了大量复杂繁琐的技术细节，让开发这个只需要专注于业务逻辑的开发，极大的降低了入门和学习的成本。 高性能：express仅在web应用相关的nodejs模块上进行了适度的封装和扩展，较大程度避免了过度封装导致的性能损耗。 扩展性强：基于中间件的开发模式，使得express应用的扩展、模块拆分非常简单，既灵活，扩展性又强。 create-react

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件： HDFS , YARN , HBase , Hive , ZooKeeper : 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 50475 dfs.datanode.https.address https服务的端口 HDFS DataNode 50020 dfs.datanode.ipc.address ipc服务的端口 HDFS NameNode 50070 dfs.namenode.http-address http服务的端口 HDFS NameNode 50470 dfs.namenode.https-address https服务的端口 HDFS NameNode 8020 fs.defaultFS 接收Client连接的RPC端口，用于获取文件系统metadata信息。 HDFS