stage

Pipeline语法 先讲 Declarative Pipeline ，所有声明式管道都必须包含在 pipeline 块中： 123 pipeline { /* insert Declarative Pipeline here */} 块里面的语句和表达式都是Groovy语法，遵循以下规则： 最顶层规定就是 pipeline { } 语句结束不需要分好，一行一条语句 块中只能包含 Sections , Directives , Steps 或者赋值语句 属性引用语句被当成是无参方法调用，比如 input 实际上就是方法 input() 调用 接下来我详细讲解下 Sections , Directives , Steps 这三个东西 Sections Sections 在声明式管道中包含一个或多个 Directives , Steps post post section 定义了管道执行结束后要进行的操作。支持在里面定义很多 Conditions 块： always , changed , failure , success 和 unstable 。 这些条件块会根据不同的返回结果来执行不同的逻辑。 always：不管返回什么状态都会执行 changed：如果当前管道返回值和上一次已经完成的管道返回值不同时候执行 failure：当前管道返回状态值为”failed”时候执行，在Web

官网： https://git-scm.com/ 官方文档： https://git-scm.com/doc 比较简略的资料（对基本概念没有解释很清楚）： http://wenku.baidu.com/link?url=G5wroyiwvVlLj5ge_V-T2D96L083VimgG8QRgsKhT323Hc7gU56pEbx1DrCHpb65cc9GvnGIV0m58oDwg9zuySfzPVVEVdlu5HN1MJwo3P7 一、重要概念 1、三个路径： Working Directory （常被称为 工作树 ）：You modify files in your working directory . 也就是说我们要处理的文件就是在这个地方。 staging area/Index （常被称为 索引 ）：You stage the files, adding snapshots of them to your staging area. 可以理解为临时存放快照（ snapshots） 的地方。 Git directory/ Repository (常被称为 仓库 ）：You do a commit , which takes the files as they are in the staging area and stores that snapshot

一、spark基础架构 spark和Hadoop的基础架构类似，采用了分布式计算中的Master-Slave模型。 Master是对应集群中的含有Master进程的节点，Slave是集群中含有Worker进程的节点。 1、物理节点逻辑 Master：作为整个集群的控制器，负责整个集群的正常运行，负责接收Client提交的作业，管理Worker，并命令Worker启动Driver和Executor； Worker：相当于是计算节点，负责管理本节点的资源，定期向Master汇报心跳，接收Master的命令，启动Driver和Executor。 Client：作为用户的客户端负责提交应用。 2、管理程序逻辑 Driver： 一个Spark作业运行时包括一个Driver进程，也是作业的主进程，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。运行在worker，或客户端。并不是运行在master。 Executor：即真正执行作业的地方，一个集群一般包含多个Executor，每个Executor接收Driver的命令Launch Task，一个Executor可以执行一到多个Task。 clusterManager：指的是在集群上获取资源的外部服务。目前有三种类型：1、Standalon，spark原生的资源管理

一、Linux内核的组成 相关概念： Linux系统的组成部分：内核+根文件系统 内核：进程管理、内存管理、网络协议栈、文件系统、驱动程序。 IPC(Inter-Process Communication进程间通信):就是指多个进程之间相互通信，交换信息的方法。Linux IPC基本上都是从Unix平台上继承而来的。主要包括最初的Unix IPC，System V IPC以及基于Socket的IPC。另外，Linux也支持POSIX IPC。 运行中的系统环境可分为两层：内核空间、用户空间； 内核空间：内核代码（系统调用） 用户空间：应用程序（进程或线程） 内核设计流派： 单内核设计：把所有的功能集成于同一个程序；（Linux） 微内核设计：每种功能都使用一个单独的子系统实现；（Windows solarls） Linux内核特点： （1）支持模块化：.KO（kernel object） （2）支持模块运动时动态装载或卸载 组成部分： 核心文件：/boot/Vmliuz-VERSION-release ramdirk: CentOS5:/boot/initrd-VERSION-release.img CentOS6,7:/boot/initramfs-VERSION-release.img 二、CentOS系统启动流程 总体启动顺序： POST(加点自检)-->Boot

Shuffle简介 Shuffle描述着数据从map task输出到reduce task输入的这段过程。shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。因为在分布式情况下，reduce task需要跨节点去拉取其它节点上的map task结果。这一过程将会产生网络资源消耗和内存，磁盘IO的消耗。通常shuffle分为两部分：Map阶段的数据准备和Reduce阶段的数据拷贝处理。一般将在map端的Shuffle称之为Shuffle Write，在Reduce端的Shuffle称之为Shuffle Read. Hadoop MapReduce Shuffle Apache Spark 的 Shuffle 过程与 Apache Hadoop 的 Shuffle 过程有着诸多类似，一些概念可直接套用，例如，Shuffle 过程中，提供数据的一端，被称作 Map 端，Map 端每个生成数据的任务称为 Mapper，对应的，接收数据的一端，被称作 Reduce 端，Reduce 端每个拉取数据的任务称为 Reducer，Shuffle 过程本质上都是将 Map 端获得的数据使用分区器进行划分，并将数据发送给对应的 Reducer 的过程。