linux文件系统

centos7.0开始默认文件系统是xfs，centos6是ext4，centos5是ext3 ext3和ext4的最大区别在于，ext3在fsck时需要耗费大量时间（文件越多，时间越长），而ext4在fsck时用的时间会少非常多 ext4是第四代扩展文件系统（英语：Fourth EXtended filesystem，缩写为ext4）是linux系统下的日志文件系统，是ext3文件系统的后继版本 ext4的文件系统容量达到1EB，而文件容量则达到16TB，这是一个非常大的数字了。对一般的台式机和服务器而言，这可能并不重要，但对于大型磁盘阵列的用户而言，这就非常重要了。 ext3目前只支持32000个子目录，而ext4取消了这一限制，理论上支持无限数量的子目录 xfs是一种非常优秀的日志文件系统，它是SGI公司设计的。xfs被称为业界最先进的、最具可升级性的文件系统技术 xfs是一个64位文件系统，最大支持8EB减1字节的单个文件系统，实际部署时取决于宿主操作系统的最大块限制。对于一个32位Linux系统，文件和文件系统的大小会被限制在16TB xfs在很多方面确实做的比ext4好，ext4受限制于磁盘结构和兼容问题，可扩展性和scalability确实不如xfs，另外xfs经过很多年发展，各种锁的细化做的也比较好 来源： https://www.cnblogs.com/hshy

转自：1 ： https://www.csdn.net/article/2015-08-21/2825511 2： http://blog.51cto.com/wzlinux/2044797 第一部分：Docker镜像的基本知识 1.1 什么是Docker镜像 从整体的角度来讲，一个完整的Docker镜像可以支撑一个Docker容器的运行，在 Docker容器运行过程中主要提供文件系统视角。例如一个ubuntu:14.04的镜像，提供了一个基本的ubuntu:14.04的发行版，当然此 镜像是不包含操作系统Linux内核的。 以上内容是从宏观的角度看看Docker镜像是什么，我们再从微观的角度进一步深入 Docker镜像。刚才提到了“Debian镜像中安装MySQL 5.6，就成了mysql:5.6镜像”，其实在此时Docker镜像的层级概念就体现出来了。底层一个Debian操作系统镜像，上面叠加一个 mysql层，就完成了一个mysql镜像的构建。层级概念就不难理解，此时我们一般debian操作系统镜像称为mysql镜像层的父镜像。 Docker有两方面的技术非常重要，第一是Linux 容器方面的技术，第二是Docker镜像的技术。从技术本身来讲，两者的可复制性很强，不存在绝对的技术难点，然而Docker Hub由于存在大量的数据的原因，导致Docker

HDFS 文件操作 你可以把一个大数据集（ 100TB ）在 HDFS 中存储为单个文件，而大多数其他的文件系统无力实现这一点。虽然该文件存在多个副本分布在多台机器上来支持并行处理，你也不必考虑这些细节。 HDFS （ Hadoop Distribution File System ）文件系统到底是一个怎样的文件系统？ 并不是一个 Unix 文件系统，不支持像 ls 和 cp 这种标准的 Unix 文件命令，也不支持如 fopen() 和 fread() 这样的标准文件读写操作。但是 Hadoop 提供了一套与 Linux 文件命令类似的命令行工具。 一个典型的 Hadoop 工作流是指？ 1 、在别的地方生成数据文件（如日志文件）再将其复制到 HDFS 中。 2 、由 MapReduce 程序处理这个数据，读取 HDFS 文件并将之解析为独立的记录（键 / 值对） 3 、除非要定制数据的导入与导出，否则你几乎不必编程来读写 HDFS 文件。 Hadoop 文件命令采取的形式是？ hadoop fs -cmd <args> cmd 是具体的文件命令，而 <args> 是一组数目可变的参数。 cmd 的命名通常与 UNIX 对应的命令名相同。如，文件列表的命令为： hadoop fs -ls Hadoop 最常用的文件管理任务包括？ 1 、添加文件和目录 2 、获取文件 3

创建文件系统时，可以指定块的大小。如果将来在你的文件系统中是一些比较大的文件的话，使用较大的块大小将得到较好的性能。将ext2文件系统的块大小调整为4096byte而不是缺省的1024byte，可以减少文件碎片，加快fsck扫描的速度和文件删除以及读操作的速度。另外，在ext2的文件系统中，为根目录保留了5%的空间，对一个大的文件系统，除非用作日志文件，5%的比例有些过多。可以使用命令"# mke2fs -b 4096 -m 1 /dev/hda6"将它改为1%并以块大小4096byte创建文件系统。 使用多大的块大小，需要根据你的系统综合考虑，如果系统用作邮件或者新闻服务器，使用较大的块大小，虽然性能有所提高，但会造成磁盘空间较大的浪费。比如文件系统中的文件平均大小为2145byte，如果使用4096byte的块大小，平均每一个文件就会浪费1951byte空间。如果使用 1024byte 的块大小，平均每一个文件会浪费927byte空间。在性能和磁盘的代价上如何平衡，要看具体应用的需要。 第1组命令： mkfs.ext3 -T news /dev/sda5 （指定该分区文件系统的块大小为4096） mkfs.ext3 -b 4096 /dev/sda5 第2组命令： mkfs.ext3 -i 4096 /dev/sda5 （指定每个inode的字节数为4096） mkfs

（说明：本文是《极客时间-linux性能优化实战》的读书笔记） 问题：磁盘和文件系统的关系？ 答：磁盘为系统提供了最基本的持久化存储。 文件系统则在磁盘的基础上，提供了一个用来管理文件的树状结构。 文件系统，本身是对存储设备上的文件，进行组织管理的机制。组织方式不同，就会形成不同的文件系统。 问题：索引节点和目录项的功能与关系？ 答：Linux 文件系统为每个文件都分配两个数据结构，索引节点（index node）和目录项（directory entry）。 索引节点（ inode），用来记录文件的元数据，比如 inode 编号、文件大小、访问权限、修改日期、数据的位置等。索引节点和文件一一对应，它也会被持久化存储到磁盘中，索引节点同样占用磁盘空间。 目录项（ dentry），用来记录文件的名字、索引节点指针以及与其他目录项的关联关系。多个关联的目录项，就构成了文件系统的目录结构。不同于索引节点，目录项是由内核维护的一个内存数据结构，通常也被叫做目录项缓存。 索引节点是每个文件的唯一标志，目录项维护的是文件系统的树状结构。 目录项和索引节点的关系是多对一，可以简单理解为，一个文件可以有多个别名。 问题：linux中文件数据到底是怎么存储的呢？ 答：磁盘读写的最小单位是扇区，每个扇区512B. 文件系统把连续的扇区组成逻辑块，每次都以逻辑块为最小单元，来管理数据

一个典型的嵌入式系统是由uboot+kernel+rootfs组成的，其中uboot和kernel都是二进制，rootfs存在文件系统。 二进制在烧录的时候比较简单，将二进制数据写入存储设备固定地址；rootfs存在文件系统，所以需要对存储设备进行分区，然后在分区上建立文件系统。 对存储介质分区可以直接挂载，进行分区、挂载，然后将rootfs内容写入，即完成了rootfs更新。 或者创建一个普通image文件，然后将文件当成一个分区，在其上创建rootfs。创建的普通image文件，可以使raw image也可以是sparse image。 1. 二进制文件烧录 二进制文件更新比较简单，直接使用DD即可。 dd if=spl.bin of=/dev/sdc bs=1024 seek=33 2. fdisk创建分区 通过fdisk可以在一个物理设备上创建分区表，也可以在一个image文件上创建分区。 fdisk -l device将输出指定设备的分区信息，不指定device则显示系统所有设备的分区信息。 AME fdisk - manipulate disk partition table SYNOPSIS fdisk [options] device fdisk -l [device...] fdisk device之后，输入m显示帮助信息。n新增一个分区表，p显示分区信息

/bin 二进制可执行命令 /dev 设备特殊文件 /etc 系统管理和配置文件 /etc/rc.d 启动的配置文件和脚本 /home 用户主目录的基点，比如用户user的主目录就是/home/user，可以用~user表示 /lib 标准程序设计库，又叫动态链接共享库，作用类似windows里的.dll文件 /sbin 系统管理命令，这里存放的是系统管理员使用的管理程序 /tmp 公用的临时文件存储点 /root 系统管理员的主目录（呵呵，特权阶级） /mnt 系统提供这个目录是让用户临时挂载其他的文件系统。 /lost+found 这个目录平时是空的，系统非正常关机而留下“无家可归”的文件（windows下叫什么.chk）就在这里 /proc 虚拟的目录，是系统内存的映射。可直接访问这个目录来获取系统信息。 /var 某些大文件的溢出区，比方说各种服务的日志文件 /usr 最庞大的目录，要用到的应用程序和文件几乎都在这个目录。其中包含： /usr/x11r6 存放x window的目录 /usr/bin 众多的应用程序 /usr/sbin 超级用户的一些管理程序 /usr/doc linux文档 /usr/include linux下开发和编译应用程序所需要的头文件 /usr/lib 常用的动态链接库和软件包的配置文件 /usr/man 帮助文档 /usr/src 源代码

系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 cat /proc/cpuinfo 显示CPU info的信息 cat /proc/interrupts 显示中断 cat /proc/meminfo 校验内存使用 cat /proc/swaps 显示哪些swap被使用 cat /proc/version 显示内核的版本 cat /proc/net/dev 显示网络适配器及统计 cat /proc/mounts 显示已加载的文件系统 lspci -tv 罗列 PCI 设备 lsusb -tv 显示 USB 设备 date 显示系统日期 cal 2007 显示2007年的日历表 date 041217002007.00 设置日期和时间 - 月日时分年.秒 clock -w 将时间修改保存到 BIOS 关机 (系统的关机、重启以及登出 ) shutdown -h now 关闭系统(1) init 0 关闭系统(2) telinit 0 关闭系统(3) shutdown -h hours

前面的开门部分： 挂载点在Ｌｉｎｕｘ就是目录，在Windows里面是 Ｃ　Ｄ　Ｅ之类的盘符。 分配盘符的过程就是挂载。 找到设备，分配设备文件名，然后分配挂载点也就是目录，然后连接起来。这就是挂载。 设备文件名都是默认的。 先创建目录，也就是挂载点，但现在的默认挂载点以及都默认创建好了，在　　／ｍｎｔ目录下： 然后： 这个ｉｓｏ９６６０其实是可以省略的，因为默认了，这个是文件格式。 ISO 9660 文件系统是一个标准CD-ROM文件系统。 用完后要卸载，但是卸载的时候要用命令，直接摁光驱是不会弹出的。 并且，要退出挂载目录再执行命令。 只加这一个目录就可以了。 ----------------------------------------------------------------------------------------------------------- 正式部分： Linux的挂载，每个设备都有一个设备名就如同window里面的设备也有个设备名如cdef盘，一样，只不过windows是自动分配的， Linux是需要手动吧设备名跟目录结合到一起的。 Linux里面的盘符就是目录。所有盘符跟设备名的挂载就是设备名与目录的挂载。 写了一个脚本文件，然后把他所在的目录用mount命令改变成非可执行， 二、用mount命令挂载U盘和光盘 硬盘系统会自己挂载

linux下各文件夹的结构说明及用途介绍： /bin：二进制可执行命令。 /dev：设备特殊文件。 /etc：系统管理和配置文件。 /etc/rc.d：启动的配 置文件和脚本。 /home：用户主目录的基点，比如用户user的主目录就是/home/user，可以用~user表示。 /lib：标准程序设计库，又 叫动态链接共享库，作用类似windows里的.dll文件。 /sbin：系统管理命令，这 里存放的是系统管理员使用的管理程序。 /tmp：公用的临时文件存储 点。 /root：系统管理员的主目 录。 /mnt：系统提供这个目录是 让用户临时挂载其他的文件系统。 /lost+found：这个 目录平时是空的，系统非正常关机而留下“无家可归”的文件就在这里。 /proc：虚拟的目录，是系 统内存的映射。可直接访问这个目录来获取系统信息。 /var：某些大文件的溢出 区，比方说各种服务的日志文件。 /usr：最庞大的目录，要用 到的应用程序和文件几乎都在这个目录。其中包含： /usr/x11r6：存放x window的目录。 /usr/bin：众多的应用程序。 /usr/sbin：超级用户的一些管理程序。 /usr/doc：linux文档。 /usr/include：linux下开发和编译应用程序所需要的头文件。 /usr/lib：常用的动态链接库和软件包的配置文件。 /usr