yarn

前端必备之Node+mysql+ejs模版如何写接口 这星期公司要做一个视频的后台管理系统， 让我用Node+mysql+ejs配合写接口， 周末在家研究了一下， 趁还没来具体需求把研究内容在这里分享一下。 1、准备 　　准备Node环境，mysql环境，我这里用express脚手架起了一个小项目demo 　 2、建数据库 　　我这里用了可视化工具，Navicat Premium新建了一个表cookbook，以下是我的demo数据 3、mysql如何写 　　1>yarn add mysql安装mysql包 　　2>models文件夹中建立一个 pool.js 用于连接数据库 var mysql = require( ' mysql ' ); var connection = mysql.createPool({ connectionLimit : 10 , host : ' localhost ' , user : ' root ' , password : ' 12345678 ' , database : ' mysql ' }); const _delete = (sql) => { return new Promise((resolve, reject) => { connection.query(sql, (err, result) => { if (err) {

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 在前面的文章中，Fayson介绍了《 如何在Redhat7.4安装CDH6.0 》，这里我们基于这个环境开始安装Kerberos。关于CDH启用Kerberos的文章，前面Fayson也介绍过《 如何在CDH集群启用Kerberos 》、《 如何在Redhat7.3的CDH5.14中启用Kerberos 》、《 如何在Redhat7.4的CDH5.15中启用Kerberos 》和《 如何在CDH6.0.0-beta1中启用Kerberos 》，通过本文，我们也可以来看看CDH6启用Kerberos有哪些不一样的地方。 内容概述： 1.如何安装及配置KDC服务 2.如何通过CDH启用Kerberos 3.如何登录Kerberos并访问Hadoop相关服务 4.总结 测试环境： 1.操作系统：Redhat7.4 2.CDH6.0 3.采用root用户进行操作 2.KDC服务安装及配置 本文档中将KDC服务安装在Cloudera Manager Server所在服务器上（KDC服务可根据自己需要安装在其他服务器） 1.在Cloudera

Hadoop的启动和停止说明 sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode、DataNode sbin/stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode sbin/hadoop-daemons.sh start namenode 单独启动NameNode守护进程 sbin/hadoop-daemons.sh stop namenode 单独停止NameNode守护进程 sbin/hadoop-daemons.sh start datanode 单独启动DataNode守护进程 sbin/hadoop-daemons.sh stop datanode 单独停止DataNode守护进程 sbin/hadoop-daemons.sh

1、初始化集群 要启动 Hadoop集群，需要启动HDFS和YARN两个集群 注意：首次启动 HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作， 因为此时的HDFS在物理上还是不存在的 命令： hdfs namenode -format或hadoop namenode -format 2、启动集群 1）单个节点逐个启动 在主节点上使用以下命令启动 HDFS NameNode: Hadoop-daemon.sh start namenode 在每个从节点上使用以下命令启动 HDFS DataNode： Hadoop-daemon.sh start datanode 在主节点上使用以下命令启动 YARN ResourceManager： Yarn-daemon.sh start resourcemanager 在每个从节点上使用以下命令启动 YARN nodemanager： Yarn-daemon.sh start nodemanager 以上脚本位于 hadoop-2.7.6/sbin目录下，若想停止只需把命令中start改为stop 即可 2）脚本一键启动 如果配置了 etc/hadoop/slaves和ssh免密登陆，则可以实用程序脚本启动所有Hadoop两个集群的相关进程，在主节点上所设定的机器上执行 hdfs：hadoop-2.7.6/sbin/

集群 启动/停止Hadoop集群：start-all.sh stop-all.sh 1) 启动NameNode, DataNode 2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步 3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failover Controller 4) 启动YARN守护进程ResourceManager, NodeManager 启动/停止HDFS集群：start-dfs.sh stop-dfs.sh 1) 启动NameNode, DataNode 2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步 3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failover Controller 启动/停止YARN集群：start-yarn.sh stop-yarn.sh 据说如果ResourceManager和NameNode不在同一台机器上，那NameNode上无法直接使用start-yarn.sh启动ResourceManager，但NodeManager可以启动

1 基本概述 Hadoop的命令位于${HADOOP_HOME}/bin、${HADOOP_HOME}/sbin、${HADOOP_HOME}/libexec下面。包含了Linux的shell脚本和windows的批处理文件。本文主要解析linux下的shell脚本。 2 脚本详解 2.1 start-all.sh 要启动 Hadoop的各节点和其他服务，这是一个绕不开的启动脚本，该脚本位于${HADOOP_HOME}/sbin下。不过在Hadoop的2.x版本中，Hadoop官方已经宣布被弃用了。接下来，就详细地分析一下该脚本是如何工作的： 1、首先脚本开头有一段注释： # Start all hadoop daemons. Run this on master node. 中文意思是：启动所有的进程（也就是各节点），在管理节点(也就是namenode-名称节点)上运行该脚本。 2、如果是2.x版本会有 echo "This script is Deprecated. Instead usestart-dfs.sh and start-yarn.sh" 的提示，意思该脚本已经过时，该脚本已经被start-dfs.sh和 start-yarn.sh替代使用。 3、 bin=`dirname"${BASH_SOURCE-$0}"` ,提取start-all.sh的所在的绝对路径。 4

受疫情影响，第十一届中国数据库技术大会（DTCC 2020）从原定的5月份，推迟到了8月份，再推迟到了12月份。尽管如此，依然没有减退国人对数据库技术的热情。2020年12月21日-12月23日，北京国际会议中心人头攒动，各大厂商争奇斗艳。在NoSQL技术专场，京东智能城市研究院的李瑞远博士给大家带来了《京东城市时空数据引擎JUST的架构设计与应用实践》的主题报告，受到了大家的广泛关注。 李瑞远博士的个人简介：李瑞远，博士，京东城市时空数据组负责人，京东智能城市研究院研究员，京东智能城市事业部数据科学家，负责时空数据平台架构设计、时空索引与分布式相结合研究、时空数据产品的研发、以及时空数据挖掘在城市场景的落地等工作。加入京东之前，在微软亚洲研究院城市计算组实习/工作4年。研究兴趣包括：时空数据管理与挖掘、分布式计算和城市计算。在国内外高水平期刊和国际会议上发表论文20余篇，包括：KDD、Artificial Intelligence、ICDE、AAAI、TKDE、WWW、UbiComp、软件学报等。申请专利20余项。现为中国计算机学会（CCF）会员、CCF数据库专委会通讯委员、IEEE会员。先后担任多个国内外顶级会议或期刊的论文审稿人。 JUST简介：时空数据蕴含着丰富的信息，能够应用于各种城市应用。但时空数据更新频率高、数据体量大、结构复杂，难以被高效存储、管理和分析

yarn应用： 分布式计算框架（Mapreduce、spark等）作为yarn应用运行在集群计算层（yarn）和存储层（hdfs和hbase上）。 Yarn的运行机制： （1） 客户端练习资源管理器，请求他运行一个application master。 （2） 资源管理器找到一个能够在容器中启动application master 的节点管理器。 （3）根据application master 自己来确定的，如果所需资源少或者代码给定为一个，那么就经过简单的计算将结果反馈给客户端：如果所需资源大，或者需要节点运算，那么就向资源管理器申请更多的容器。 （4）进行分布式计算。当程序运行完成时，ApplicationMaster从Resourcemanager注销其容器，执行周期就完成了。 yarn中的调度： 在yarn中有三种调度器可以选择：FIFO Scheduler，Capacity Scheduler，Fair Scheduler。 FIFO Scheduler 把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推. FIFO Scheduler 是最简单的也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源

YARN构建--解决cypress下载慢问题 参考文章： （1）YARN构建--解决cypress下载慢问题 （2）https://www.cnblogs.com/mouseleo/p/11925437.html 备忘一下。 来源： oschina 链接： https://my.oschina.net/u/4432649/blog/4839545

早上看CDH发现有一个nodemanager挂掉 然后查看对应的日志。 发现在日志里面并没有错误。，然然后发现服务器的磁盘满了，赶紧清理磁盘空间 清理磁盘的时候发现主要是/tmp目录下面生成了很多 类似这种的日志。 清理完空间之后 重启nodemanager。发现还是启不来 到这里之后发现就停住了。。。。然后CDH页面就挂了nodemanager还是起不来。 继续查看 发现8042端口注册不上。 然后继续追述上个日志 只要nodemanager启动就会recovering application 所以 find 一下 find /* -name *application application_1560341746674_1515* 发现 /data/yarn/nm/usercache/root/appcache/* 目录下面很多 类似的文件，时间为头一天晚上7点过，继续看zabbix监控 发现 内存不足， 然后晚上九点过显示磁盘空间不足，解决办法 rm -fr /data/yarn/nm/usercache/* 删除cache之后 重启nodemanager正常 并且删除 /var/lib/hadoop-yarn/yarn-nm-recovery/* 问题分析：由于这台机器上跑大任务，导致内存不足，内存不足 yarnnodemanager会一直报警写到 /tmp目录下