linux文件系统

一、Windows环境配置 1、准备好hadoop的完全分布式按照，具体按照步骤这里不再赘述 此处我的版本为hadoop2.7.6版本，环境配置为Hadoop的完全分布式按照，各个节点具体安排如下 1）机器地址映射关系 192.168.8.240 hadoop01 192.168.8.241 hadoop02 192.168.8.242 hadoop03 2）机器节点安排 hadoop01 namenode datanode nodemanager hadoop02 secondarynamenode datanode nodemanager hadoop03 resourcemanager datanode nodemanager HDFS：分布式文件 hadoop01为namenode，其他都为datanode（包括hadoop01自己） YARN：分布式计算 hadoop03为resourcemanager管理节点，其他为计算节点nodemanager 3）说明 namenode最好单独出来，减轻元数据负载压力 secondarynamenode最好不要与namenode放置在同一台机器进行冷备份 resourcemanager最好单独出来避免与nodemanager在同一台机器 4）注意 hadoop完全分布式环境启动注意 hdfs的启动和关闭可以在任意节点进行控制：

Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。 Ext4 是 Ext3 的改进版，修改了 Ext3 中部分重要的数据结构，而不仅仅像 Ext3 对 Ext2 那样，只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性，还有更为丰富的功能： 1. 与 Ext3 兼容。执行若干条命令，就能从 Ext3 在线迁移到 Ext4，而无须重新格式化磁盘或重新安装系统。原有 Ext3 数据结构照样保留，Ext4 作用于新数据，当然，整个文件系统因此也就获得了 Ext4 所支持的更大容量。 2. 更大的文件系统和更大的文件。较之 Ext3 目前所支持的最大 16TB 文件系统和最大 2TB 文件，Ext4 分别支持 1EB（1,048,576TB， 1EB=1024PB， 1PB=1024TB）的文件系统，以及 16TB 的文件。 3. 无限数量的子目录。Ext3 目前只支持 32,000 个子目录，而 Ext4 支持无限数量的子目录。 4. Extents。Ext3 采用间接块映射，当操作大文件时，效率极其低下。比如一个 100MB 大小的文件，在 Ext3 中要建立 25,600 个数据块（每个数据块大小为 4KB）的映射表。而 Ext4 引入了现代文件系统中流行的 extents 概念，每个 extent 为一组连续的数据块，上述文件则表示为

这一章讲的很快，我在这里不一定能弄全，希望各位能够进行补充 一、文件概念 1、操作系统提供了信息存储的统一逻辑接口 2、文件是记录在外存上的相关信息的具有名称的集合 3、操作系统对存储设备的各种属性加以抽象并且定义了逻辑存储单元（文件），再将文件映射到物理设备上。 4、通常， 文件表示程序和数据 （一）、文件属性 1、名称：有些OS区分大小写（如Linux，Unix），有些不区分（如DOS, Windows） 2、类型：由OS和程序定义 3、位置：指向设备和设备上文件位置的指针 4、大小：文件当前大小（以字节、字或块来表示） 5、保护：决定谁能读、写、执行等的访问控制信息 6、时间、日期和用户标识：文件创建、上次修改和上次访问都可能有该信息。用于保护、安全和使用跟踪 7、文件的信息被保存在目录结构中，而目录结构也保存在外存上 （二）、文件操作 1、创建文件 ①在文件系统中为文件找到空间 ②在目录中为新文件创建一个条目 2、写文件 3、读文件，一般当前操作位置可作为每个进程当前文件位置指针 4、在文件内重定位 5、截短文件：只删除文件内容而保留其属性，而不是强制用户删除文件再创建文件。 6、删除文件：在目录中搜索给定名称的文件，找到相关目录条目后，释放所有的文件空间以便其他文件使用，并删除相应目录条目。 7、打开文件需要有如下信息： ①文件指针

二.创建文件系统 1.磁盘分区fdisk #fdisk -l 查看磁盘信息 #fdisk /dev/sdb m 显示帮助菜单 a 添加引导标签.相当于激活主分区 d 删除一个分区 n 创建一个分区 p 显示分区表 q 不保存退出 w 保存退出 2.格式化文件系统 #mkfs -t [filesyste-type] 来源： CSDN 作者： LinuxKernelCiscoIOS 链接： https://blog.csdn.net/LinuxKernelCiscoIOS/article/details/103634912

1.EXT EXT 是延伸文件系统（Extended file system，缩写为 ext或 ext1） 也译为扩展文件系统，一种文件系统，于1992年4月发表， 是为linux核心所做的第一个文件系统 。采用Unix系统（UFS）的元数据结构，以克服MINIX文件系统性能不佳的问题。它是在linux上，第一个利用虚拟文件系统实现出的文件系统，在linux核心0.96c版中首次加入支持， 最大可支持2GB的文件系统 2.EXT2 EXT2 第二代扩展文件系统 （second extended filesystem，缩写为 ext2），是Linux内核所用的文件系统。它开始由Rémy Card设计，用以代替ext1，于1993年1月加入linux核心支持之中。ext2 的经典实现为LINUX内核中的ext2fs文件系统驱动，最大可支持2TB的文件系统，至linux核心2.6版时，扩展到可支持32TB。 3.EXT3 EXT3是第三代扩展文件系统（Third extended filesystem，缩写为ext3），是一个日志文件系统，常用于Linux操作系统。它是很多Linux发行版的默认文件系统。Stephen Tweedie在1999年2月的内核邮件列表中，最早显示了他使用扩展的ext3，该文件系统从2.4.15版本的内核开始，合并到内核主线中。 4.EXT4 EXT4

问题描述：上周公司的私有云（底层架构是Openstack+KVM，目前稳定性还不够好，开发团队在改进中）一个计算节点挂掉，之后恢复后发现这个计算节点的所有Linux系统都变成只读了，复制文件提示：Read-only file system 问题原因：系统没有正常关机，导致虚拟磁盘出现文件系统错误。 解决方法：使用fsck手动修复，具体操作如下： 重启系统后使用root进入单用户模式，运行 fsck.ext3 -y /dev/vda3 说明：ext3的文件系统使用fsck.ext3，ext4文件系统使用fsck.etx4。/dev/vda3是系统/根分区。运行完毕后，reboot重启系统就恢复正常。 fsck.ext3开始进入扫描、修正文件系统，这个过程有时很快，有时比较长，中间有数次停顿的过程，只需等待即可，千万不要以为死机而重启服务器。修正完文件系统后，如果没有提示重启系统，也需要reboot来重启系统。 扩展知识：fsck简介 fsck不仅可以对文件系统进行扫描，还能修正文件系统的一些问题。注意的是fsck扫描文件系统时一定要在单用户模式、修复模式或把设备umount后进行。建议在单用户模式下运行。如果扫描正常运行中的系统，会造成系统文件损坏。 文件系统扫描工具有fsck、fsck.ext2、fsck.ext3、fsck.ext4、fsck.msdos、fsck.cramfs

1. sd卡升级命令 mmcinit 0 fatload mmc 0:1 0 uzImage.bin 80000 fatload mmc 0:1 1000000 initrd.gz 580000 bootm 0 2. U-Boot脚本 可以保存成nfs.script，放在tftp的根目录 setenv bootargs mem=214M root=/dev/nfsroot nfsroot=10.1.1.2:/home/nfs_android ip=dhcp rw console=ttyS0,115200n8 androidboot.console=ttyS0 init=/init lcdid=1 lpj=750000 如何加载呢 setenv bootcmd setenv ipaddr 10.1.1.3/;setenv serverip 10.1.1.2 / ;setenv gatewayip 10.1.1.1 / ;tftpboot 02000000 nfs.script / ;autoscr 这里/;把多个命令组成一个命令。 这里bootcmd引用bootargs U-Boot允许存储命令序列在纯文本文件中，用命令mkimage将该文件转换成脚本映像，该映像可用U-Boot命令autoscr执行。 转换成映像文件的方法列出如下： bash$ mkimage -T script

Windows文件移植性没有linux好 df -h：文件系统使用情况 [ root@localhost / ] # df -h 文件系统 容量 已用 可用 已用 % 挂载点 / dev / mapper / centos - root 17G 5. 0G 12G 30 % / devtmpfs 470M 0 470M 0 % / dev tmpfs 487M 0 487M 0 % / dev / shm tmpfs 487M 8. 3M 479M 2 % / run tmpfs 487M 0 487M 0 % / sys / fs / cgroup / dev / sda1 1014M 157M 858M 16 % / boot tmpfs 98M 4. 0K 98M 1 % / run / user / 42 tmpfs 98M 52K 98M 1 % / run / user / 0 liunx采用的是虚拟目录模式 sbin目录：管理命令 bin目录：linux的可执行命令，用户命令 etc目录：配置文件：/etc/hosts home目录：所有普通用户的家目录 root目录：管路员root的家目录 tmp目录：lunux的临时目录：当linux重启后，该目录下的所有文件就会自动删除 dev目录：设备文件（打印机等设备文件） lib目录：库文件 media目录：挂载点目录

文件管理 主要内容： 文件系统基础：包括文件概念、文件的逻辑结构（顺序文件，索引文件，索引顺序文件）、目录结构（文件控制块和索引结点，单级目录结构和两级目录结构，树形目录结构，图形目录结构）、文件共享和文件保护（访问类型，访问控制）。 文件系统实现 ：包括文件系统层次结构、目录实现、文件实现。 磁盘组织与管理 ：包括磁盘的结构、磁盘调度算法、磁盘的管理。 4.1 文件的概念和定义 文件(File)是操作系统中的一个重要概念。 在系统运行时，计算机以进程为基本单位进行资源的调度和分配；而在用户进行的输入、输出中，则以文件为基本单位 。大多数应用程序的输入都是通过文件来实现的，其输出也都保存在文件中，以便信息的长期存及将来的访问。当用户将文件用于应用程序的输入、输出时，还希望可以访问文件、修改文件和保存文件等，实现对文件的维护管理，这就需要系统提供一个文件管理系统，操作系统中的文件系统(File System)就是用于实现用户的这些管理要求。 从用户的角度看，文件系统是操作系统的重要部分之一。用户关心的是如何命名、分类和查找文件，如何保证文件数据的安全性以及对文件可以进行哪些操作等。而对其中的细节，如文件如何存储在辅存上、如何管理文件辅存区域等关心甚少。 文件系统提供了与二级存储相关的资源的抽象，让用户能在不了解文件的各种属性、文件存储介质的特征以及文件在存储介质上的具体位置等情况下

HDFS概述及设计目标 什么是HDFS： 是Hadoop实现的一个分布式文件系统（Hadoop Distributed File System），简称HDFS 源自于Google的GFS论文 论文发表于2003年，HDFS是GFS的克隆版 HDFS的设计目标： 非常巨大的分布式文件系统 运行在普通廉价的硬件上 易扩展、为用户×××能不错的文件存储服务，也就是容错性 HDFS官方文档地址如下： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html HDFS架构 HDFS是主/从式的架构。一个HDFS集群会有一个NameNode（简称NN），也就是命名节点，该节点作为主服务器存在（master server）。NameNode用于管理文件系统的命名空间以及调节客户访问文件。此外，还会有多个DataNode（简称DN），也就是数据节点，数据节点作为从节点存在（slave server）。通常每一个集群中的DataNode，都会被NameNode所管理，DataNode用于存储数据。 HDFS公开了文件系统名称空间，允许用户将数据存储在文件中，就好比我们平时使用操作系统中的文件系统一样，用户无需关心底层是如何存储数据的。而在底层，一个文件会被分成一个或多个数据块