HDFS

点击上方蓝色字关注 [ 啃饼思录 ]~ Docker数据管理 写在前面 在前面我们详细学习了docker的三大核心概念：镜像、容器和仓库，接下来开始学习如何管理数据。在实际工作中使用docker，往往需要对数据进行持久化，或者需要在多个容器之间进行数据共享，此时必然会使用到容器数据管理的各种操作。 容器中的数据管理主要有两种方式：（1）数据卷（Data Volumes），表示容器内数据直接映射到本地主机环境；（2）数据卷容器（Data Volume Containers），表示使用特定容器维护数据卷。 本篇就来学习docker数据管理相关的知识，首先会介绍如何在容器内创建数据卷，并且把本地目录或者文件挂载到容器内的数据卷中，接着介绍如何使用数据卷容器在容器和宿主机、容器和容器之间共享数据，并实现数据的备份和恢复。 数据卷 数据卷(Data Volumes)是一个可供容器使用的特殊目录，它将宿主机操作系统目录直接映射进容器，有点类似于Linux操作系统中的mount行为。 数据卷特性 数据卷提供很多特性，包括且不限于以下几点：（1）数据卷可以在容器之间共享和重用，容器间传递数据将变得高效与方便；（2）无论是容器内操作还是本地操作，用户对数据卷内数据的修改会立马生效；（3）用户对数据卷的更新不会影响到镜像，可以解耦应用和数据；（4）数据卷会一直存在，直到没有容器使用

1.OperatorChain 1.1 OperatorChain的优点 1.1.1 减少线程切换 1,1.2 减少序列化与反序列化 1.1.3 减少数据在缓冲区的交换 1.1.4 减少延迟并且提高吞吐能力 1.2 OperatorChain组成条件 1.2.1 没有禁用Chain 1.2.2 上下游算子并行度一致 1.2.3 下游算子的入度为1（也就是说下游节点没有其他节点的输入） 1.2.4 上下游算子在同一个slot group 1.2.5 下游节点的chain策略为always（可以与上下游链接，map、flatmap、filter等默认是always） 1.2.6 上有节点的chain策略为always或head(只能与下游链接，不能与上有链接,source默认是head) 1.2.7 上下游算子之间没有数据shuffle(数据分区方式是forward) 1.3 禁用OperatorChain几种方式 1.3.1 DataStream的算子操作后调用startNewChain算子 1.3.2 DataStream调用disableChaining来关闭Chain 1.3.3 StreamExecutionEnvironment.getExecutionEnvironment.disableOperatorChaining() 全局关闭 1.3.4 DataStream

大数据技术与架构 点击右侧关注，大数据开发领域最强公众号！ 暴走大数据 点击右侧关注，暴走大数据！ Ozone诞生的背景 众所周知，HDFS是大数据存储系统，并在业界得到了广泛的使用。但是无论大集群还是小集群其扩展性都受NN的限制， 虽然HDFS可以通过Federation进行扩展，但是依然深受小文件和4亿个文件的困扰 。 于是分布式key-value存储系统Ozone诞生了，Ozone能够轻松管理小文件和大文件。(HDFS提供了类似POSIX的语义，Ozone的外观和行为更像一个Object存储系统。) Ozone Ozone是专门为Hadoop设计的可扩展的分布式对象存储系统。Hadoop生态中的其它组件如Spark、Hive和Yarn不需要任何修改就可以直接运行在Ozone之上。 Ozone的使用方式也较为丰富，可以通过命令行直接使用也有java客户端接口，而且接口支持RPC和REST。 Ozone由 volumes、buckets和Keys 组成，其中 Volumes只有管理员能够创建和删除，类似账号的概念，管理员一般都是给某个团队或者组织创建一个Volume。 Buckets有点像目录， 不过这个只能有一层，因为Buckets中不能包含其它Buckets 。Buckets是在Volume下，一个Volume可以包含n个Buckets， 但是Buckets下面只能是Keys

一、分区的概念 　　分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。 二、为什么要进行分区 　　数据分区，在分布式集群里，网络通信的代价很大，减少网络传输可以极大提升性能。mapreduce框架的性能开支主要在io和网络传输，io因为要大量读写文件，它是不可避免的，但是网络传输是可以避免的，把大文件压缩变小文件， 从而减少网络传输，但是增加了cpu的计算负载。 　　Spark 里面io也是不可避免的，但是网络传输spark里面进行了优化： 　　Spark把rdd进行分区（分片），放在集群上并行计算。同一个rdd分片100个，10个节点，平均一个节点10个分区，当进行sum型的计算的时候，先进行每个分区的sum，然后把sum值shuffle传输到主程序进行全局sum，所以进行sum型计算对网络传输非常小。但对于进行join型的计算的时候，需要把数据本身进行shuffle，网络开销很大。 spark是如何优化这个问题的呢？ 　　Spark把key－value rdd通过key的hashcode进行分区，而且保证相同的key存储在同一个节点上，这样对改rdd进行key聚合时

三元组 其实，分布式系统说白了，就是很多机器组成的集群，靠彼此之间的网络通信，担当的角色可能不同，共同完成同一个事情的系统。如果按”实体“来划分的话，就是如下这几种： 节点 -- 系统中按照协议完成计算工作的一个逻辑实体，可能是执行某些工作的进程或机器 网络 -- 系统的数据传输通道，用来彼此通信。通信是具有方向性的。 存储 -- 系统中持久化数据的数据库或者文件存储。 状态特性 各个节点的状态可以是“无状态”或者“有状态的”. 一般认为，节点是偏计算和通信的模块，一般是无状态的。这类应用一般不会存储自己的中间状态信息，比如Nginx，一般情况下是转发请求而已，不会存储中间信息。另一种“有状态”的，如mysql等数据库，状态和数据全部持久化到磁盘等介质。 “无状态”的节点一般我们认为是可随意重启的，因为重启后只需要立刻工作就好。“有状态”的则不同，需要先读取持久化的数据，才能开始服务。所以，“无状态”的节点一般是可以随意扩展的，“有状态”的节点需要一些控制协议来保证扩展。 分布式系统的三个指标 这三个指标不可能同时做到。这个结论就叫做 CAP 定理 CAP三个特性只能满足其中两个，那么取舍的策略就共有三种： CA without P：如果不要求P（不允许分区），则C（强一致性）和A（可用性）是可以保证的。但放弃P的同时也就意味着放弃了系统的扩展性，也就是分布式节点受限

简介 众所周知，HDFS是大数据存储系统，并在业界得到了广泛的使用。但是无论大集群还是小集群其扩展性都受NameNode的限制，虽然HDFS可以通过Federation进行扩展，但是依然深受小文件和4亿个文件的困扰。 于是分布式key-value存储系统Ozone诞生了，Ozone能够轻松管理小文件和大文件。 其他能处理小文件的存储方案有Hbase, ceph等, 本人目前所了解的是ceph性能更好, ozone由于未在上产环境中实践过, 性能对比尚不可知。 Ozone是专门为Hadoop设计的可扩展的分布式对象存储系统。 Hadoop生态中的其它组件如Spark、Hive和Yarn不需要任何修改就可以直接运行在Ozone之上。 Ozone的使用方式也较为丰富，可以通过命令行直接使用也有java客户端接口，而且接口支持RPC和REST。 组成: volumes Volumes只有管理员能够创建和删除，类似账号的概念，管理员一般都是给某个团队或者组织创建一个Volume。 Buckets是在Volume下，一个Volume可以包含n个Buckets，但是Buckets下面只能是Keys。 buckets 类似目录, 但只能有一层, 因为Buckets中不能包含其它Buckets。 Keys Keys就是具体的对象，在Buckets中是唯一的，其名字可以是任意字符串

大数据职位体系 我们接触过很多家互联网企业，目前最为普遍也是职位需要比较大的莫过于大数据方向的岗位，以下是我通过各位技术前辈对于大数据方向各个职位的整理，方便我们猎头朋友更好地理解职位需求，同时对大数据方向感兴趣的同学也可以参考，以下是详细的文档，其中脑图我也整理整理了一份，供大家参考，另外关于技术方向是不断进化和演变的过程，希望大家共同补充和提出不同的见解。 1.大数据涉及职位从技术趋势角度来 大数据系统研发类人才对应的职位为大数据系统研发工程师 a-大数据应用开发类人才对应的职位为大数据应用开发工程师 c-大数据分析类人才对于的职位为大数据分析师 2.企业方向划分 a-产品市场分析---通过算法来测试新产品的有效性，\n是一个相对较新的领域 b-安全和风险分析---数据科学家们知道需要收集哪些数据、\n如何进行快速分析，并最终通过分析\n信息来有效遏制网络入侵或抓住网络罪犯。 c-商业智能 3.热门岗位 a-ETL研发： >ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 >有不同的数据类型 随着数据种类的不断增加，企业对数据整合专业人才的需求越来越旺盛

方案一：Jdbc直连Hive PS:确认Hive服务是否启动，进入到Hive服务器进行以下操作 1.先开启 metastore hive --service metastore & 2.开启hiveserver2,默认端口是10000 hive --service hiveserver2 & 3.验证是否开启成功 netstat -ntulp | grep 10000 输出：tcp 0 0 0.0.0.0:10000 0.0.0.0:* LISTEN 27799/java 即为服务开启成功 代码实现 方案二：SparkSession直连Hive 初始化并创建Sparksession,代码实现 使用Sparksession查询 查询结果 注：连接Hive无需初始化声明注册方言 特别注意，若不加载hive-site.xml时，需在config中配置： 此配置来源于Hive服务器conf/hive-site.xml中配置项 本地还需配置hosts 附：Spark方式Windows开发环境异常及解决方案 异常1：Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------ 解决方式： 1

Greenplum 是 2002 年开始成立研发团队的，核心技术团队成员来自各个顶级数据库公司和大规模并行计算公司的资深软件架构师，例如： Oracle, Teradata, Tandem, Microsoft SQL Server, Informix 。 Greenplum 数据库软件是业内首创的无共享、大规模并行处理（ massively parallel processing (MPP) ）的数据库软件产品，它包含大规模并行计算技术和数据库技术最新的研发成果：包括无共享 /MPP ，按列存储数据库，数据库内压缩， MapReduce ，永不停机扩容，多级容错等等。该数据库软件被业界认可为扩展能力最大的分析型（ OLAP ）数据库软件。已有 500 多家世界级重大客户采用该软件，例如： NYSE,NASDAQ,FINRA,AIG ， AMEX,CIA ，德意志银行，美国联邦储备委员会，支付宝， NTT-DoCoMo,T-Mobile,Skype ， WalMart ，中国联通，太平洋保险等。 这些客户中大多数 Greenplum 数据仓库所管理的数据量都超过 100TB ，其中，全球最大的有 6500TB ，中国最大的有 1000TB 。 每一天，全球有数亿级的用户在直接、间接用到 Greenplum 发明的数据库平台。 Greenplum 分布式数据仓库软件特性介绍

一、HAWQ基本安装自带gpfdist协议 gpfdist是HAWQ支持的外部表访问协议之一，这是hawq自带的一个简单的集成http服务命令。 在我的前述安装hawq之后，gpfdist命令位于hawq的bin目录之中。/opt/gpadmin/apache-hawq/bin/gpfdist gpfdist使用说明很简单，且看： [root@ep-bd01 ~]# /opt/gpadmin/apache-hawq/bin/gpfdist -- help gpfdist -- file distribution web server usage: gpfdist [ --ssl <certificates_directory>] [-d <directory>] [-p <http(s)_port>] [-l <log_file>] [-t <timeout>] [-v | -V] [-m <maxlen>][-c file ] gpfdist [ -? | --help] | -- version -?, -- help : print this screen - v : verbose mode -V : more verbose -p port : port to serve HTTP(S), default is 8080 -d dir : serve files