大数据-HDFS（四）

                                      大数据-HDFS（四）

hdfs的架构以及block块和副本机制

hdfs分布式文件系统是一个主从架构，主节点是NameNode，负责管理整个集群以及维护集群的元数据信息；从节点是DataNode，主要负责文件数据存储。

hdfs将所有的文件全部抽象成为 block 块来进行存储，不管文件大小，全部一视同仁都是以block块的统一大小和形式进行存储，方便分布式文件系统对文件的管理。

 从2.7.3版本开始，官方关于Data Blocks 的说明中，block size由64 MB变成了128 MB的；block块的大小可以通过hdfs-site.xml当中的配置文件进行指定。

<property>
     <name>dfs.block.size</name>
     <value>块大小 以字节为单位</value>//只写数值就可以
 </property>

抽象成数据块的好处

1、一个文件可能大于集群中任意一个磁盘容量，就需要将文件切割为小块存储在多块磁盘。

  10T*3/128 = xxx块   2T，2T，2T 文件方式存 —–> 多个block块，这些block块属于一个文件

2、使用块抽象，而不是使用文件抽象，可以简化存储子系统。

3、块非常适合用于数据库备份，进而提高数据容错能力和可用性。

块缓存

通常DataNode从磁盘中读取块，但对于访问频繁的文件，其对应的块可能被显示的缓存在DataNode的内存中，以堆外块缓存的形式存在。默认情况下，一个块仅缓存在一个DataNode的内存中，当然可以针对每个文件配置DataNode的数量。作业调度器通过在缓存块的DataNode上运行任务，可以利用块缓存的优势提高读操作的性能。

hdfs的文件权限验证

hdfs的文件权限机制与linux系统的文件权限机制类似

r:read   w:write  x:execute  权限x对于文件表示忽略，对于文件夹表示是否有权限访问其内容

如果linux系统用户zhangsan使用hadoop命令创建一个文件，那么这个文件在HDFS当中的owner就是zhangsan

hdfs的副本因子

为了保证block块的安全性，也就是数据的安全性，在hadoop2当中，文件默认保存三个副本，我们可以更改副本数以提高数据的安全性。

在hdfs-site.xml当中修改以下配置属性，即可更改文件的副本数。

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

 

来源：CSDN

作者：海恋北斗星

链接：https://blog.csdn.net/zy12306/article/details/104307563