jN

HDFS HA Namenode HA 详解　　 　　hadoop2.x 之后，Clouera 提出了 QJM / Qurom Journal Manager ，这是一个基于 Paxos 算法（分布式一致性算法）实现的 HDFS HA 方案，它给出了一种较好的解决思路和方案,QJM 主要优势如下： 　　不需要配置额外的高共享存储，降低了复杂度和维护成本。 　　消除 spof(单点故障)。 　　系统鲁棒性(Robust)的程度可配置、可扩展。 　　 基本原理就是用 2N+1 台 JournalNode 存储 EditLog，每次写数据操作有>=N+1 返回成功时即认为该次写成功，数据不会丢失了 。当然这个算法所能容忍的是最多有 N台机器挂掉，如果多于 N 台挂掉，这个算法就失效了。这个原理是基于 Paxos 算法。 　　在 HA 架构里面 SecondaryNameNode 已经不存在了，为了保持 standby NN 时时的与 Active NN 的元数据保持一致，他们之间交互通过 JournalNode 进行操作同步。 　　任何修改操作在 Active NN 上执行时，JournalNode 进程同时也会记录修改 log到至少半数以上的 JN 中，这时 Standby NN 监测到 JN 里面的同步 log 发生变化了会读取 JN 里面的修改 log

NameNode 高可用整体架构概述 在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统中依赖于 HDFS 的各个组件，包括 MapReduce、Hive、Pig 以及 HBase 等也都无法正常工作，并且重新启动 NameNode 和进行数据恢复的过程也会比较耗时。这些问题在给 Hadoop 的使用者带来困扰的同时，也极大地限制了 Hadoop 的使用场景，使得 Hadoop 在很长的时间内仅能用作离线存储和离线计算，无法应用到对可用性和数据一致性要求很高的在线应用场景中。 所幸的是，在 Hadoop2.0 中，HDFS NameNode 和 YARN ResourceManger(JobTracker 在 2.0 中已经被整合到 YARN ResourceManger 之中) 的单点问题都得到了解决，经过多个版本的迭代和发展，目前已经能用于生产环境。HDFS NameNode 和 YARN ResourceManger 的高可用 (High Availability，HA) 方案基本类似

前言 在早期Hadoop刚出来的时候是没有解决HDFS单点问题的，这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪，这是非常危险的于是在Hadoop不断的更新下提出了Hadoop HA来解决NameNode单点问题，接下来我们就来聊一聊。 解决HDFS单点问题解决方案 解决HDFS点单问题其实可以部署两个NameNode，但是真正对外服务只有一个，部署两个NameNode那他们之间的元数据信息是不是需要共享元数据信息呀，不然当其中一个NameNode挂掉了元数据信息没有同步不就会有问题。 根据appche提出的解决方案目前有三种解决方案如下 方案一、目录共享 目录共享是在appche社区中提出但是现在没有引用，目录共享也是一个单点问题，如果当目录共享挂掉了是不是也会导致HDFS挂掉。所以就被一些企业抛弃了。 方案二、使用JournalNode方案 我们使用JN来保存元数据信息就不会造成单点问题，JN也是一个集群，我们一般部署JN一般会选择基数例如3,5,7,9等。JN有一个政策只要存活的节点大于 二分之一 就是一个正常的服务。 注意： 我们不要为了解决NameNode的单点问题选择的的组件也是单点问题，这个根本还是没有解决。 JN中的信息都是一样的，那为什么也是其中的一个NameNode就是写数据其中一个就是读取数据那？ 其实NameNode也是有角色之分的写的为

转自https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/ 前面的两篇文章都是关于分布式一致性协议Raft的， 图解分布式一致性算法 Raft协议详解 ，其中提到了选主等内容。在不同的项目中，也都有类似的主从切换等策略来保证HA。下文是Hadoop中的NameNode的高可用实现分析，可以对照着看看。 如果在公众号内格式排版不便阅读，可以查看链接。 NameNode 高可用整体架构概述 在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统中依赖于 HDFS 的各个组件，包括 MapReduce、Hive、Pig 以及 HBase 等也都无法正常工作，并且重新启动 NameNode 和进行数据恢复的过程也会比较耗时。这些问题在给 Hadoop 的使用者带来困扰的同时，也极大地限制了 Hadoop 的使用场景，使得 Hadoop 在很长的时间内仅能用作离线存储和离线计算，无法应用到对可用性和数据一致性要求很高的在线应用场景中。

键索引计数法 我们先介绍一种适合小整数键的简单排序方法，这是我们将要学习的字符串排序的基础，举个例子，我们希望将全班学生按组分类。如图 姓名 An Br Da Ga Ha Ja Jh Jn Ma 组号 2 3 3 4 1 3 4 3 1 姓名 Mb Mi Mo Ro Sm Ta Ta Tp Wh 组号 2 2 1 2 4 3 4 4 2 姓名 Wl Ws 组号 3 4 我们这里用数组a[]来存储每个元素，其中每个元素都包含=一个名字和一个组号，a[i].key()返回元素的组号。 排序后的结果 姓名 Ha Ma Mo An Mb Mi Ro Wh Br 组号 1 1 1 2 2 2 2 2 3 姓名 Da Ja Jn Ta Wl Ga Jh Sm Ta 组号 3 3 3 3 3 4 4 4 4 姓名 Tp Ws 组号 4 4 排序共分为四个步骤： （一）频率统计 组号在0-R之间，键为组号，用一个int数组（初始全为0）统计每个键出现的频率，如果键为r,则count[r]++,但是在实际使用中我们用count[r+1]++,至于为什么将r加1，这是为了计算方便（下一步详细说明） 我i们先来进行统计： An在第二组中，count[2+1]加1，count[3]==1继续扫描数组，Br在第三组，count[4]+1，count[4]==1,继续扫描，Da在第三组中，count[4]+1

大数据篇：HDFS HDFS是什么? Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。 如果没有HDFS! 大文件的储存我们必须要拓展硬盘。 硬盘拓展到一定的量以后，我们就不能在一个硬盘上储存文件了，要换一个硬盘，这样文件管理就成了问题。 为了防止文件的损坏吗，我们需要创建副本，副本的管理也成了问题。 分布式计算非常麻烦。 1 HDFS出现原因 1.1 早期文件服务器 从上图中，我们可以看出，存储一个文件，我们一直往一个机子上面存是不够的，那么我们在储存量不够的时候就会加机子。 但是如果一个文件放在一台机子上，如果该机器挂了，那么文件就丢失了，不安全。 所以我们会把一个文件放在多台机子上，创建一个索引文件来储存文件的指针

第一类斯特林数 含义 $S(i,j)$ 表示 $i$ 个不同元素，分成 $j$ 个圆，排列的方案数 那么 $S(0,0)=1,S(i,0)=1$ 显然有 $$S(i,j)=S(i-1,j-1)+(i-1)S(i-1,j)$$ 结论 $$\sum_{k=0}^{n}S(n,k)=n!$$ 证明 一个排列对应一个置换 把这个置换中的上下对应位置连边，可以得到许多的环 由于排列和置换是一一对应的，所以我们要求排列的个数，就是求用n个元素组成环的方案数，所以我们枚举环的个数 它的生成函数 $$x^{\overline{n}}=x(x+1)(x+2)...(x+n-1)=\sum_{k=0}^{n}S(n,k)x^k$$ $$x^{\underline{n}}=x(x-1)(x-2)...(x-n+1)=\sum_{k=0}^{n}(-1)^{n-k}S(n,k)x^k$$ 求法 可以直接 $nlog^2n$ 分治 $FFT$ 或者还有一个 $nlogn$ 倍增的求法 设 $F_n(x)=\prod_{i=0}^{n-1}(x+i)$ 那么 $F_{2n}(x)=F_n(x)F_n(x+n)$ 考虑利用 $F_n(x)$ 推出 $F_n(x+n)$ 设 $F_n(x)=\sum_{i=0}^{n}a_ix^i$ 那么 $$F_n(x+n)=\sum_{i=0}^{n}a_i\sum_{j=0

行列式 主要内容 1.行列式的定义及性质 2.行列式的展开公式 一.行列式的定义 1.排列和逆序 排列:由n个数1,2,…,n组成的一个有序数组称为一个n级排列,n级排列共有n!个 逆序:在一个排列中,如果一个大的数排在了一个小的数前面,就称这两个数构成了一个逆序 逆序数:在一个排列i1,i2,…,in中,逆序的总数称为该排列的逆序数,记为τ(i1i2…in) 如τ(32514)=5 2.行列式的定义 注：对于行列式的定义把握以下两点 1、 n阶行列式每一项是取自不同行，不同列的n个元素的乘积，共有n！项 2、 当行下标顺排时，每一项的正负号由列下标j1j2…jn的逆序数决定τ(j1j2…jn) 二.行列式的性质 性质1:行列互换,其值不变 性质2:两行(列)互换,行列式的值变号 性质3:两行(列)相同,行行列式的值为0 性质3:某行(列)有公因子k,则可把k提到行列式外 特别地: 1.某行(列)全为0,行列式的值为0 2.某行(列)元素对应成比例,行列式的值为0 性质4:某行(列)是两个元素之和,则可拆成两个行列式之和 性质5:某行(列)元素的k倍加到外一行(列)对应元素上,行列式的值不变 三.行列式的展开公式 1.余子式 在行列式中,去掉元素aij所在地i行,第j列元素,由剩余的元素按照原来的位置与顺序组成的n-1阶行列式称为元素aij的余子式记为Mij 2.代数余子式称 3

public static void main(String[] args) { int a = 10 ; try { int i = 1/0 ; } catch (Exception e) { System.out.println( "--------------------" ); e.printStackTrace(); // 只能输出在控制台当中，日志文件看不到 System.out.println("--------------------" ); log.error(e.getMessage()); // 只能输出简短的错误信息，不便于排错 System.out.println("--------------------" ); log.error(e.getStackTrace().toString()); // 不能输出错误信息 System.out.println("--------------------" ); log.error( "需要在错误日志 error 之上打锚点，报错了，a-{}" ,a); // 用这个去打印日志，完整的日志信息会被打印在日志之中，相当于 e.printStackTrace(); log.error("test fail-",e); // 可以在日志中输出完整的错误信息，""里要写内容,不能在此处去打错误锚点（不能使用log

刚买的小新，配置下office，作为技术人员，喜欢Share以下 office 产品密钥，任你选一组 一、序列号激活法（密钥激活法） 这种是最为安全而且最为正规的方法，通过取得合法的序列号（密钥）进行激活获得微软的认可，但前提是你得有官方的序列号，通过按正规渠道是需要花银子购买合法的序列号的，但往往我们都是通过其他方法获得可以使用的 Office2016密钥 ，这里为大家贴出了部分可以使用的Office2016密钥，但也有可能过段时间不能用了，不过我们会及时更新可以使用的Office2016密钥以便大家共享好的资源，请看清对应的版本，不同是的版本需要不同的激活码的。 Office 2016 Pro Plus Retail 版激活密钥： [Key]：3XJTG-YNBMY-TBH9M-CWB2Y-YWRHH [Key]：6TCQ3-NBBJ2-RTJCM-HFRKV-G6PQV [Key]：CGGR9-NQYC7-KRRGM-K4Y8J-XW3K7 [Key]：3GXXR-NT7BJ-9DRBB-M9FYC-CKCQV Office 2016 Visio Pro Retail 版激活密钥： [Key]：VPKCP-96NGG-6888Q-3FTVY-43KY7 Office 2016 Project Pro Retail 版激活密钥： [Key]：93N8W-W8HD8-R7M7R