分布式文件系统

1.Glusterfs简介 GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。 说起glusterfs可能比较陌生，可能大家更多的听说和使用的是NFS，GFS，HDFS之类的，这之中的NFS应该是使用最为广泛的，简单易于管理，但是NFS以及后边会说到MooseFS都会存在单点故障，为了解决这个问题一般情况下都会结合DRBD进行块儿复制。但是glusterfs就完全不用考虑这个问题了，因为它是一个完全的无中心的系统。 2.Glusterfs特点 扩展性和高性能 GlusterFS利用双重特性来提供几TB至数PB的高扩展存储解决方案。Scale-Out架构允许通过简单地增加资源来提高存储容量和性能，磁盘、计算和I/O资源都可以独立增加，支持10GbE和InfiniBand等高速网络互联。Gluster弹性哈希（ElasticHash）解除了GlusterFS对元数据服务器的需求，消除了单点故障和性能瓶颈，真正实现了并行化数据访问。 高可用性 GlusterFS可以对文件进行自动复制，如镜像或多次复制，从而确保数据总是可以访问

rpm包安装 官方站点： http://download.gluster.org/pub/gluster/glusterfs/ yum install centos-release-gluster ====================================== # mkfs.xfs -i size=512 /dev/sdb1 # mkdir -p /bricks/brick1 # vi /etc/fstab /dev/sdb1 /bricks/brick1 xfs defaults 1 2 # mount -a && mount ======================================== yum install xfsprogs yum --enablerepo=centos-gluster*-test install glusterfs-server service glusterd start gluster peer probe gv02 gluster peer status mkdir /data/repository gluster volume create gv0 replica 2 gv01:/data/repository gv02:/data/repository gluster volume start gv0

0 术语简介 GlusterFS是一个开源的分布式文件系统。更多特性介绍附录的参考文档。 Brick:GFS中的存储单元，通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识，如'SERVER:EXPORT' Client: 挂载了GFS卷的设备 Extended Attributes:xattr是一个文件系统的特性，其支持用户或程序关联文件/目录和元数据。 FUSE:Filesystem Userspace是一个可加载的内核模块，其支持非特权用户创建自己的文件系统而不需要修改内核代码。通过在用户空间运行文件系统的代码通过FUSE代码与内核进行桥接。 Geo-Replication GFID:GFS卷中的每个文件或目录都有一个唯一的128位的数据相关联，其用于模拟inode Namespace:每个Gluster卷都导出单个ns作为POSIX的挂载点 Node:一个拥有若干brick的设备 RDMA:远程直接内存访问，支持不通过双方的OS进行直接内存访问。 RRDNS:round robin DNS是一种通过DNS轮转返回不同的设备以进行负载均衡的方法 Self-heal:用于后台运行检测复本卷中文件和目录的不一致性并解决这些不一致。 Split-brain:脑裂 Translator: Volfile:glusterfs进程的配置文件，通常位于/var

G lusterFS 介绍 GlusterFS是一个开源的分布式文件系统，同时也是Scale -Out 存储解决方案Gluster的核心，在存储方面具有横向扩展能力，通过扩展不同的节点可以支持数PB级别的存储容量。 Gluster FS 借助TCP/IP或lnfiniBand RDMA 网络将分散的存储资源汇聚在一起，统一提供存储服务，并使用单一全局命名空间来管理数据。 Gluster FS 基于可堆叠的用户空间以及无元的设计，可为各种不同的数据负载提供优异的性能。 GlusterFS服务群集的组成： 主要由存储服务器( Brick Server) 、客户端( NFS / Samba 存储网关 ) 。Gluster FS 架构中最大的特点是没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息，目录结构等。这样的设计在浏览目录时效率非常高，但是也存在风险和缺陷，如单点故障，一旦元数据服务器出现故障，即使节点具备再高的沉余性，整个存储系统也将崩溃，而Gluster FS 分布式文件系统是基于无元服务器的设计，数据横向扩展能力强，具备较高的可靠性以及存储效率。 GlusterFS的设计结构： GlusterFS的特点： 扩展性和高性能： GlusterFS利用双重特点来提高容量存储解决方案。

Glusterfs分布式文件系统安装调试 Edit by esxu 2015.07.08 概述 GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计，可为各种不同的数据负载提供优异的性能。 安装部署 Glusterfs安装部署相对来说较简单，几步操作即可完成。 yum源配置 wget http://download.gluster.org/pub/gluster/glusterfs/LATEST/CentOS/glusterfs-epel.repo 可直接使用官方的yum源即可，如果是内网可将源同步到本地，目前支持的版本一到centos7.1 创建并挂载本地磁盘 fdisk /dev/sdb and create a single partition 格式化 mkfs.xfs -i size=512 /dev/sdb1 作为brick进行挂载 mkdir -p /export/sdb1 && mount /dev/sdb1 /export/sdb1 && mkdir -p /export

公司有几台就服务器，正好有个项目对磁盘的容量以及性能有一定的要求，故而寻求分布式文件系统方面的知识，最终采用了glusterfs。以下对部署以及测试过程潦做记录。 glusterfs分布式文件系统采用C/S模式，其中客户端作为对外提供服务的点，并且负责分配管理数据在后端多台server间的存储。 实验采用6台服务器做整个分布式架构，其中4台存储端实现类似RAID 10模式的存储池，两台客户端通过挂载至存储池，两台客户端之间通过keepalived做双机热备。 要求：glusterfs禁止在系统分区上创建glusterfs卷，所以需要server端每台机器都要有一个独立于跟分区之外的分区加入glusterfs，并且此独立分区要求大小一致（否则，到后期会遇到问题，导致无法继续支持高可用特性）。 Server端 采用yum方式安装，首先配置glusterfs官方的yum源，执行下面命令 vi /etc/yum.repos.d/glusterfs-epel.repo 添加以下内容 [glusterfs-epel] name= GlusterFS is a clustered file-system capable of scaling toseveral petabytes. baseurl= http: / /download.gluster.org/pub /gluster

hadoop学习笔记：hadoop文件系统浅析 https://www.cnblogs.com/sharpxiajun/archive/2013/06/15/3137765.html 1.什么是分布式文件系统？ 管理网络中跨多台计算机存储的文件系统称为分布式文件系统。 2.为什么需要分布式文件系统了？ 原因很简单，当数据集的大小超过一台独立物理计算机的存储能力时候，就有必要对它进行分区（partition）并存储到若干台单独计算机上。 3.分布式系统比传统的文件的系统更加复杂 因为分布式文件系统架构在网络之上，因此分布式系统引入了网络编程的复杂性，所以分布式文件系统比普通文件系统更加复杂。 4.Hadoop 的文件系统 很多童鞋会把hdfs等价于hadoop的文件系统，其实hadoop是一个综合文件系统抽象，而hdfs是hadoop旗舰级文件系统，hadoop除了hdfs还能集成其他文件系统。Hadoop的这个特点充分体现了hadoop的优良的可扩展性。 在hadoop里，hadoop定义了一个抽象的文件系统的概念，具体就是hadoop里面定义了一个java的抽象类：org.apache.hadoop.fs.FileSystm，这个抽象类用来定义hadoop中的一个文件系统接口，只要某个文件系统实现了这个接口，那么它就可以作为hadoop支持的文件系统

Google学术论文，这是众多分布式文件系统的起源 ================================== Google File System（大规模分散文件系统） MapReduce （大规模分散FrameWork） BigTable（大规模分散数据库） Chubby（分散锁服务） 一般你搜索Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)就有了。 做个中文版下载源：http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126 做个原版地址链接： http://labs.google.com/papers/gfs.html http://labs.google.com/papers/bigtable.html http://labs.google.com/papers/mapreduce.html GFS（Google File System） -------------------------------------- Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节，但Google并没有将该系统的软件部分作为开源软件发布。 下面分布式文件系统都是类

常见的 分布式文件系统 有， GFS 、 HDFS 、 Lustre 、 Ceph 、 GridFS 、 mogileFS 、 TFS 、 FastDFS 等。各自适用于不同的领域。它们都不是系统级的 分布式 文件系统，而是应用级的分布式文件存 储服务。 Google 学术论文，这是众多分布式文件系统的起源 ================================== Google File System（大规模分散文件系统） MapReduce （大规模分散FrameWork） BigTable （大规模分散数据库） Chubby（分散锁服务） 一般你搜索Google_三大论文中文版( Bigtable 、 GFS、 Google MapReduce)就有了。 做个中文版下载源：http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126 做个原版地址链接： http://labs.google.com/papers/gfs.html http://labs.google.com/papers/bigtable.html http://labs.google.com/papers/mapreduce.html GFS（Google File System） ----------------

前言 开源的分布式存储系统比较多，比较有名的有：Ceph、GlusterFS、HDFS、TFS等。这些系统都比较复杂，代码动则几十上百万行，这些系统对初学者来说门槛比较高，特别是对于从事非分布式存储行业，但又想跨行学习分布式的同学来说，往往有这想法，但是不知道怎么入手。本文介绍之前实现的一个C++极简版的分布式文件系统 https://github.com/goyas/goya-fs ， 代码只有一两百行，当然功能也很粗糙，只实现了简单的mkdir和ls这两条命令，但就像刚刚描述的，目的是学习，也便于大家对分布式有体感之后，方便阅读其他庞大的分布式存储系统，当然以后有空时间也会不断完善功能。 对于嵌入式，或者主要是从事单机开发的程序员来说，没接触分布式之前，都会感觉很神秘，往往会被高并发、海量数据分析处理等名词唬住。其实，职位没有智商之分，区别也就在于你有没有亲自动手摸过这些玩意儿。以往的经验告诉我，就算不会的东西，一个版本的时间，只要你稍微努点力基本就会达到行业的基本水平，当然越往上走就要看自己的兴趣和时间投入了。 好了，言归正传，下面开始介绍这个简单的分布式文件系统，选用的基础组件是leveldb + goyas-rpc，leveldb作为存储底座，goyas-rpc作为进程之间通信使用。有关leveldb的介绍网上非常多，这里就不再骜述，goyas-rpc可以参考之前的