Hadoop

大数据篇：HDFS HDFS是什么? Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。 如果没有HDFS! 大文件的储存我们必须要拓展硬盘。 硬盘拓展到一定的量以后，我们就不能在一个硬盘上储存文件了，要换一个硬盘，这样文件管理就成了问题。 为了防止文件的损坏吗，我们需要创建副本，副本的管理也成了问题。 分布式计算非常麻烦。 1 HDFS出现原因 1.1 早期文件服务器 从上图中，我们可以看出，存储一个文件，我们一直往一个机子上面存是不够的，那么我们在储存量不够的时候就会加机子。 但是如果一个文件放在一台机子上，如果该机器挂了，那么文件就丢失了，不安全。 所以我们会把一个文件放在多台机子上，创建一个索引文件来储存文件的指针

hbase或hadoop错误及解决方法 参考文章： （1）hbase或hadoop错误及解决方法 （2）https://www.cnblogs.com/wukenaihe/archive/2013/03/15/2961029.html 备忘一下。 来源： oschina 链接： https://my.oschina.net/u/3797416/blog/4767570

Spark RDD和DataSet与DataFrame转换成RDD 一、什么是RDD RDD是弹性分布式数据集（ resilient distributed dataset） 的简称，是一个可以参与并行操作并且可容错的元素集合。什么是并行操作呢？例如，对于一个含4个元素的数组Array，元素分别为1，2，3，4。如果现在想将数组的每个元素放大两倍，Java实现通常是遍历数组的每个元素，然后每个元素乘以2，数组中的每个元素操作是有先后顺序的。但是在Spark中，可以将数组转换成一个RDD分布式数据集，然后同时操作每个元素。 二、创建RDD Spark中提供了两种方式创建RDD 首先执行 1 spark-shell 命令，打开scala终端，如图： ​ 我们使用的HDP集成好的Spark，可以自己安装Apache Spark。 1、并行化一个存在的数据集 例如：将一个数组Array转换成一个RDD，如图： val data = Array(1, 2, 3, 4, 5) val distData = sc.parallelize(data) 在命令窗口执行上述命令后，如图： ​ parallesize函数提供了两个参数，第二个参数表示RDD的分区数（partiton number），例如： scala> val distDataP = sc.parallelize(data,3)

浅析HDFS分布式存储有哪些优势特点 近年，随着区块链、大数据等技术的推动，全球数据量正在无限制地扩展和增加。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其大数据、轻资产的特点，通常使用大规模分布式存储系统。 那么分布式存储的种类有哪些呢？ 分布式存储包含的种类繁多，除了传统意义上的分布式文件系统、分布式块存储和分布式对象存储外，还包括分布式数据库和分布式缓存等，但其中架构无外乎于三种： A、中间控制节点架构 - 以 HDFS 为代表的架构是典型的代表 B、完全无中心架构 – 计算模式，以 Ceph 为代表的架构是其典型的代表 C、完全无中心架构 – 一致性哈希，以 swift 为代表的架构是其典型的代表 这里我们主要HDFS有哪些优势 HDFS（Hadoop Distributed File System）是hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。是基于流数据模式访问和处理超大文件的需求而开发的， 可以运行于廉价的商用服务器上。 它所具有的高容错、 高可靠性、 高可扩展性、 高获得性、 高吞吐率等特征为海量数据提供了不怕故障的存储， 为超大数据集（Large Data Set） 的应用处理带来了很多便利。 HDFS是开源的，存储着Hadoop应用将要处理的数据，类似于普通的Unix和linux文件系统

Hive是什么？ Hive是基于Hadoop之上的数据仓库； Hive是一种可以存储、查询、分析存储在hadoop中的大规模数据 Hive定义了简单的类SQL查询语言，成为HQL,它允许熟悉SQL的用户查询数据 允许熟悉 MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作 Hive没有专门的数据格式 Hive:数据仓库。 Hive:解释器，编译器，优化器等。 Hive运行时，元数据存储在关系型数据库里面。 1. 为什么选择 Hive 基于 Hadoop的大数据的计算/扩展能力 支持 SQL like查询语言 统一的元数据管理 简单编程 2.Hive内部是什么 Hive是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为QL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。 本质上讲， Hive是一个SQL解析引擎，Hive可以把SQL查询转换为MapReduce中的job来运行。Hive有一套映射工具

数组 1、定长数组和变长数组 package cn.gec.scala import scala.collection.mutable.ArrayBuffer object ArrayDemo { def main(args: Array[String]) { // 初始化一个长度为8的定长数组，其所有元素均为0 val arr1 = new Array[Int](8) // 直接打印定长数组，内容为数组的hashcode值 println (arr1) // 将数组转换成数组缓冲，就可以看到原数组中的内容了 //toBuffer会将数组转换长数组缓冲 println (arr1.toBuffer) // 注意：如果new，相当于调用了数组的apply方法，直接为数组赋值 //初始化一个长度为1的定长数组 val arr2 = Array [Int](10) println (arr2.toBuffer) // 定义一个长度为3的定长数组 val arr3 = Array ( "hadoop" , "storm" , "spark" ) // 使用()来访问元素 println (arr3(2)) ////////////////////////////////////////////////// // 变长数组（数组缓冲） // 如果想使用数组缓冲，需要导入import

|转载自：简书 |原文链接： http://www.jianshu.com/p/c97ff0ab5f49 简介 Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS) 和一个分布式计算引擎，该引擎支持以 MapReduce 作业的形式实现和运行程序。 MapReduce 是 Google 推广的一个简单的编程模型，它对以高度并行和可扩展的方式处理大数据集很有用。MapReduce 的灵感来源于函数式编程，用户可将他们的计算表达为 map 和 reduce 函数，将数据作为键值对来处理。Hadoop 提供了一个高级 API 来在各种语言中实现自定义的 map 和 reduce 函数。 Hadoop 还提供了软件基础架构，以一系列 map 和 reduce 任务的形式运行 MapReduce 作业。Map 任务 在输入数据的子集上调用 map 函数。在完成这些调用后，reduce 任务 开始在 map 函数所生成的中间数据上调用 reduce 任务，生成最终的输出。 map 和 reduce 任务彼此单独运行，这支持并行和容错的计算。 最重要的是，Hadoop

　　在"14 磁盘及文件系统管理详解"中，我们详细介绍了磁盘的工作原理，但是，有一点我们一定要明白，作为现在存储数据的主要设备，机械磁盘早就是上个世纪的产品，而它的读写速度与内存、CPU比起来已经不在一个级别上，但是当前“大数据”背景下，我们有大量的数据需要进行存储，这样对磁盘的要求更加高了。 　　为了解决，或者是缓解磁盘读写存储速度慢，以及保证数据的冗余性，我们创建了RADI技术，同时，通过mdadm命令来管理软RAID。这一节内容，我们就来详细了解RAID技术和mdadm管理命令。 硬盘的分类（接口） 　　我们说电脑的核心部件为CPU、内存和I/O总线；他们之间的大概工作过程如下图： 　　　　1、我们要知道，系统要实现某一个应用的功能，就需要对应的启动这个应用的进程。而这个进程的运行与否，则取决于内核进程。所以，第一步，我们需要将内核进程调用CPU上，让内核进程调用你要实现的那个应用的进程内容。而这些进程内容默认都是存储在内存中的； 　　　　所以，我们说内存的大小直接决定了进程运行的快慢； 　　　　【这里要注意的是，我们的内存将进程分为一个一个的“页面”，而“页面”的大小正好就是2^n，所以，我们的磁盘上的数据块（block）的大小，也是以2^n来进行存储的，就是为了方便内存调用】 　　　　2、内核进程决定调用的哪个普通进程，比如，我要运行“mkdir”创建目录，则这个时候，