linux文件系统

前言 　　前面几篇简单介绍了什么是大数据和Hadoop，也说了怎么搭建最简单的伪分布式和全分布式的hadoop集群。接下来这篇我详细的分享一下HDFS。 　　HDFS前言： 　　　　设计思想：（分而治之） 将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。 　　　　在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 。 　　分布式文件系统： 　　　　问题引发：海量数据超过了单台物理计算机的存储能力 　　　　解决方案：对数据分区存储与若干台物理主机中 　　　　分布式文件系统应运而生： 　　　　　　　　　　　　1）管理网络中跨多台计算机存储的文件系统 　　　　　　　　　　　　2）HDFS就是这样的一个分布式文件系统 一、HDFS概述 1.1、HDFS概述 　　1）HDFS集群分为两大角色： NameNode、DataNode 　　2）NameNode负责 管理整个文件系统的元数据 　　3）DataNode负责 管理用户的文件数据块 　　4）文件会 按照固定的大小(blocksize)切成若干块后分布式存储在若干台datanode上 　　5）每一个 文件块可以有多个副本，并存放在不同的datanode 上 　　6）DataNode会定期向NameNode汇报 自身保存的block信息

mount命令 用于加载文件系统到指定的加载点。此命令的也常用于挂载cdrom，使我们可以访问cdrom中的数据，因为你将光盘插入cdrom中，Linux并不会自动挂载，必须使用Linux mount命令来手动完成挂载。 Linux系统下不同目录可以挂载不同分区和磁盘设备，它的目录和磁盘分区是分离的，可以自由组合(通过挂载) 不同的目录数据可以跨越不同的磁盘分区或者不同的磁盘设备 磁盘设备默认没有入口，不能访问磁盘的入口是挂载点。 挂载的实质是为磁盘添加入口 mount常见命令参数 The standard form of the mount command, is mount -t type device dir -l：显示已加载的文件系统列表； -h：显示帮助信息并退出； -v：冗长模式，输出指令执行的详细信息； -n：加载没有写入文件“/etc/mtab”中的文件系统； -r：将文件系统加载为只读模式； -a：加载文件“/etc/fstab”中描述的所有文件系统。</PRE></BLOCKQUOTE> -t: 加载文件系统类型 supported include: adfs, affs, autofs, cifs, coda, coherent, cramfs, debugfs, devpts, efs, ext, ext2, ext3, ext4, hfs, hfsplus

1、什么是分区？ 分区是将一个硬盘驱动器分成若干个逻辑驱动器，分区是把硬盘连续的区块当做一个独立的磁硬使用。分区表是一个硬盘分区的索引,分区的信息都会写进分区表。 2、为什么要有多个分区？ 防止数据丢失：如果系统只有一个分区，那么这个分区损坏，用户将会丢失所的有数据。 增加磁盘空间使用效率：可以用不同的区块大小来格式化分区，如果有很多1K的文件，而硬盘分区区块大小为4K，那么每存储一个文件将会浪费3K空间。这时我们需要取这些文件大小的平均值进行区块大小的划分。 数据激增到极限不会引起系统挂起：将用户数据和系统数据分开，可以避免用户数据填满整个硬盘，引起的系挂起。 3、分区工具fdisk用法介绍 fdisk命令参数介绍 p、打印分区表。 n、新建一个新分区。 d、删除一个分区。 q、退出不保存。 w、把分区写进分区表，保存并退出。 实例： [root@localhost ~]# fdisk /dev/hdd 按"p"键打印分区表 这块硬磁尚未分区 按"n"键新建一个分区。 出现两个菜单e表示扩展分区，p表示主分区 按"p"键出现提示："Partition number (1-4): "选择主分区号 输入"1"表示第一个主分区。 直接按回车表示1柱面开始分区。 提示最后一个柱面或大小。 输入+5620M 按回车 表示第一个分区为5G空间。 按"p"查看一下分区 这样一个主分区就分好了。

今天给大家介绍下Linux系统中的磁盘管理 一、磁盘结构 磁盘的物理结构 盘片：磁盘有多个盘片，每盘片2面 磁头：每面一个磁头 硬盘的数据结构 硬盘的数据结构 · 磁盘的数据结构 扇区：盘片被分为多个扇形区域，每个扇区存放512字节的数据 磁道：同一盘片不同半径的同心圆 柱面：不同盘片相同半径构成的圆柱面 · 扇区和磁道 下图显示的是一个盘面，盘面中一圈圈灰色同心圆为一条条磁道，从圆心向外画直线，可以将磁道划分为若干个弧段，每个磁道上一个弧段被称之为一个扇区。扇区是磁盘的最小组成单元，通常是512字节。 · 磁头和柱面 磁头 和 柱面 硬盘通常由重叠的一组盘片构成，每个盘面都被划分为数目相等的磁道，并从外缘的“0”开始编号，具有相同编号的磁道形成一个圆柱，称之为磁盘的柱面。磁盘的柱面数与一个盘面上的磁道数是相等的。由于每个盘面都有自己的磁头，因此，盘面数等于总的磁头数。 · # 磁盘储存容量 存储容量 ＝ 磁头数 × 磁道(柱面)数 × 每道扇区数 × 每扇区字节数 图中磁盘是一个 3个圆盘6个磁头，7个柱面（每个盘片7个磁道） 的磁盘，图3中每条磁道有12个扇区，所以此磁盘的容量为：存储容量 6 7 12 * 512 = 258048，每个磁道的扇区数一样是说的老的硬盘，外圈的密度小，内圈的密度大，每圈可存储的数据量是一样的。新的硬盘数据的密度都一致，这样磁道的周长越长

文件系统是linux的一个十分基础的知识，同时也是学习linux的必备知识。 本文将站在一个较高的视图来了解linux的文件系统，主要包括了linux磁盘分区和目录、挂载基本原理、文件存储结构、软链接硬链接、和常见目录的介绍。相信有了这些知识对于深入的学习linux会有一定的帮助。文章例子主要是基于ubuntu发行版。 如有不对之处请大家多多指出。 1. Linux磁盘分区和目录 Linux发行版本之间的差别很少，差别主要表现在系统管理的特色工具以及软件包管理方式的不同。目录结构基本上都是一样的。 Windows的文件结构是多个并列的树状结构，最顶部的是不同的磁盘（分区），如：C，D，E，F等。 Linux的文件结构是单个的树状结构.可以用tree进行展示。 在Ubuntu下安装tree（sudo apt-get install tree）,并可通过命令来查看。 每次安装系统的时候我们都会进行分区，Linux下磁盘分区和目录的关系如下： – 任何一个分区都必须挂载到某个目录上。 – 目录是逻辑上的区分。分区是物理上的区分。 – 磁盘Linux分区都必须挂载到目录树中的某个具体的目录上才能进行读写操作。 – 根目录是所有Linux的文件和目录所在的地方，需要挂载上一个磁盘分区。 以下是我们可能存在的一种目录和分区关系： 图1：目录和分区关系 Q:如何查看分区和目录及使用情况？ –

一、磁盘基础 磁盘是指利用磁记录技术存储数据的存储器。磁盘是计算机主要的存储介质，可以存储大量的二进制数据，并且断电后也能保持数据不丢失。早期计算机使用的磁盘是软磁盘（简称软盘），如今常用的磁盘是硬磁盘（简称硬盘）。 1、硬盘的结构 （1）物理结构 盘片：硬盘有多个盘片，每盘片2面。 磁头：每面一个磁头。 （2）数据结构 扇区:磁盘上的每个磁道被等分为若干个弧段，这些弧段便是硬盘的扇区）硬盘的第一个扇区，叫做引导扇区。 磁道:当磁盘旋转时，磁头若保持在一个位置上，则每个磁头都会在磁盘表面划出一个圆形轨迹，这些圆形轨迹就叫做磁道。 柱面:在有多个盘片构成的盘组中，由不同盘片的面，但处于同一半径圆的多个磁道组成的一个圆柱面。 （3）存储容量 硬盘存储容量=磁头数X磁道（柱面）数X每道扇区数X每扇区字节数。可以用柱面/磁头/扇区来唯一定位磁盘上每一个区域。 2、硬盘接口 IDE:并口数据线连接主板与硬盘，抗干扰性太差，且排线占用空间较大，不利电脑内部散热，已逐渐被SATA所取代。SATA:支持热插拔等功能，速度快，纠错能力强。 SCSI：此硬盘广为工作站级个人电脑以及服务器所使用，资料传输时CPU占用率较低转速快，支持热插拔等。 SAS:是新一代的SCSI技术，和SATA硬盘相同，都是采取序列式技术以获得更高的传输速度，可达到6Gb/s。 二、磁盘分区表示 1、MBR MBR是主引

          linux 逻辑卷可以是设备，可以是硬盘，也可以是分区 pvs 查看物理卷 pvdisplay 查看物理卷的详细信息 pvcreate /dev/sd{a7,b} 创建两个物理卷，sda7和sdb vgs 查看现有卷组 vgdisplay 查看现有卷组详细信息 vgextend vg0 /dev/sdb 拓展vg0卷组，把sdb加入vg0卷组 vgcreate -s 16M vg0 /dev/sda7 /dev/sdb 创建卷组，指定PE大小为16M，卷组名为vg0，卷组成员有sda7和sdb lvs 查看逻辑卷 lvdisplay 查看逻辑卷的具体信息 lvcreate -n mysql -L 1500m vg0 创建逻辑卷mysql,逻辑卷大小1500m，对vg0卷组创建逻辑卷 mkfs.xfs /dev/vg0/mysql 对mysql逻辑卷创建文件系统 blkid /dev/vg0/mysql >> /etc/fstab 然后去/etc/fstab里修改一下 lvextend -l +100%free /dev/vg0/mysql 给mysql 逻辑卷扩展卷组剩余的100%空间 新加到逻辑卷的空间没有文件系统，xfs是原来空间的文件系统，所以新加逻辑卷的空间也得创建文件系统 xfs_growfs /dev/vg0/mysql

1 、inode 包含文件的元信息 （1）inode 内容： 文件的字节数、拥有者的 UID、GID、文件的读写执行权限、时间戳等，但不包含文件 名。文件名是储存在目录的目录项中。 （2）查看文件的 inode 内容，stat 命令 2.Atime等详解 3. 目录文件的结构 （1）目录也是一种文件 （2）目录文件的结构： 每个 inode 都有一个号码，操作系统用 inode 号码来识别不同的文件 Linux 系统内部不使用文件名，而使用 inode 号码来识别文件。对于系统来说，文件名 只是 inode 号码便于识别的别称。 4 . inode 的号码 （1）系统内部打开文件的步骤： 1>系统找到这个文件名对应的 inode 号码 2>通过 inode 号码，获取 inode 信息 3>根据 inode 信息，找到文件数据所在的 block，读出数据 inode 一般为 128 字节或 256 字节，每个 inode 中都记录着文件所在的 block 号，每条记录着 block 号的信息占用 4 字节。inode 中关于 block 号的记录一共包含有 12 个直接、1 个间接、1 个双间接和 1 个三间接。 12 个直接连接，共占用 48 字节磁盘空间，包含着 12 个直接指向 block 号的信息，若此文件系统默认的 block 大小为 4KB，则仅仅可以指向 12*4

RAID的对比： 版本 特点 磁盘个数 可用空间 故障磁盘数 应用环境 RAID0 读写速度快，数据容易丢失 两个 全部 一块 测试，临时性 RAID1 读写速度慢，数据可靠 至少两个，可以2的倍数 总容量的一半 一块 装系统 RAID5 读写速度提高，可靠性提高 至少3个 (N-1)s 一块 网站 RAID10 读写速度较快，性能高，可靠性高 最少四块 容量是n/2 两个 放入数据，放入数据库的数据 RAID50 最少六块 （n/2）S 两个 R AID4 缺点：最后一个硬盘损坏 至少三块或更多的磁盘 （n -1 ）* s 可以是一个 R AID6 读取速度快，可靠性高 最少四块 （n -2 ）* s 可以两个 1. 置软件 RAID mdadm 命令 作用：实现软件R AID ，跟随不同选项作用不同 格式：m dadm [ 选项]参数 常用选项 - C 或 —create: 创建一个新的软 RAID, 后面接 raid 设备名称。例如：/ dev/md0, /d e v/md1 等 -A 或 —assemble ：加载一个已存在的阵列，后面跟阵列以及设备的名称 - S 或 — stop：停止指定的 RAID 设备 -D 或 — detall：输出指定 RAID 设备的详细信息 -s 或 –scan ：扫描配置文件或/ proc/mdstat 文件来搜索软 RAID 的配置信息

Linux中的磁盘管理 Linux中磁盘管理的学习主要分为3个部分： 分区 格式化 挂载 一、磁盘结构 硬盘是计算机常用的存储设备之一，本章将介绍硬盘的基本知识。 硬盘的物流结构 盘片：磁盘有多个盘片，每盘片2面 磁头：每面一个磁头 硬盘的数据结构 硬盘的数据结构 扇区：盘片被分为多个扇形区域，每个扇区存放512字节的数据 磁道：同一盘片不同半径的同心圆 柱面：不同盘片相同半径构成的圆柱面 硬盘存储容量 硬盘存储容量=磁头数x磁道（柱面）数x每道扇区数x每扇区字节数 例如：磁盘是一个 3个圆盘6个磁头，7个柱面（每个盘片7个磁道） 的磁盘，图3中每条磁道有12个扇区，所以此磁盘的容量为： 存储容量 6 7 12 * 512 = 258048 每个磁道的扇区数一样是说的老的硬盘，外圈的密度小，内圈的密度大，每圈可存储的数据量是一样的。新的硬盘数据的密度都一致，这样磁道的周长越长，扇区就越多，存储的数据量就越大。 可以用柱面/磁头/扇区来唯一定位磁盘上每一个区域，用fdisl-l查看分区信息： 磁盘接口类型 IDE 并口 SATA 串口 SCSI 小型机系统接口 磁盘分区表示 主引导记录（MBR:MAster Boot Record） MBR位于硬盘第一个物理扇区处 MBR中包含硬盘的主引导程序和硬盘分区表 分区表有4个分区记录区，每个分区记录区占16字节 Linux中将硬盘