HDFS

hdfs dfs -du -h / 查看每个文件夹所占用的空间 删除占空间较大的文件 来源： CSDN 作者： qqCEM 链接： https://blog.csdn.net/qqCEM/article/details/104009503

Hadoop系列文章 Hadoop部署 Apache Hadoop 3.2.1 单节点部署 Java安装 下载安装包 在服务器中解压到指定目录 配置环境变量 HDFS Shell命令一览 测试Hadoop安装成果 Apache Hadoop 3.2.1 伪分布式部署 hadoop环境配置文件 配置文件设置 设置SSH 格式化HDFS Hadoop分为三种部署方式 Standalone Operation（单节点集群）：默认情况下，Hadoop被配置为作为单个Java进程以非分布式模式运行。这对于调试非常有用。 Pseudo-Distributed Operation（伪分布式）：在单节点上以伪分布式模式运行，其中每个Hadoop守护进程运行在单独的Java进程中。 分布式部署Fully-Distributed Operation：真集群部署 构件 版本 Hadoop 3.2.1 CentOS 7 Java 1.8 IDEA 2018.3 Gradle 4.8 Springboot 2.1.2 RELEASE Apache Hadoop 3.2.1 单节点部署 Java安装 因为Hadoop是基于Java的，所以一个Java环境是不能少的。 CentOS7 安装JDK1.8 下载安装包 Apache Hadoop 官方下载页 Apache Hadoop 3.2.1 binary

一、防火墙设置 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 二、修改主机名 vim /etc/hostname 我将主机名修改为master reboot 重启服务器生效 三、修改hosts配置文件 vim /etc/hosts 添加内网ip 主机名 四、安装SSH客户端 （1）安装ssh，询问时输入y yum install openssh-clients openssh-server （2）测试ssh是否安装完成 ssh master （3）配置SSH免key登陆（必须要配置） ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys （4）用ssh连接本机，此时不需要密码 五、配置java环境（如果已安装的跳过） （1）下载解压安装包 由于1.8版本适用范围最广，这里安装jdk1.8版本，先下载安装包。 附百度云下载链接 链接：https://pan.baidu.com/s/1_A1pCLXvCMs5SxmpHPPYfg 提取码：4e9h 在

编程模型之核心概念 Split InputFormat OutputFormat Combiner Partitoner 编程模型之执行步骤 准备map处理的输入数据 Mapper处理 Shuffle Reduce处理 结果输出 通过 InputFormat 读入HDFS上的文件 通过 Split 进行分片后，用 RecordReader 读取进来 input(k,v) pairs ⇒ map ⇒ intermediate(k,v) pairs 通过 Partitioner 进行分区后，按照一定的规则进行 Shuffling，然后按字典排序 通过 Reduce 后，OutputFormat 写回到 HDFS 上 来源： CSDN 作者： senga07 链接： https://blog.csdn.net/gates0087/article/details/104079579

https://blog.csdn.net/weixin_45494421/article/details/98760782 概要：常见的分布式文件系统有GFS、HDFS等，也有新兴的基于区块链IPFS/Filecoin等。有的广泛应用，有的开始挑战，有的是闭源，有的开源。在不同的领域和不同的计算机发展阶段，它们都对数据存储起到了各自的作用。那么这些分布式文件系统都有什么优缺点？我们应该怎样选择适合自己的解决方案？ 一、HDFS：被雅虎开源的分布式文件系统 Hadoop分布式文件系统（HDFS），是一个分布式、可扩展的Hadoop框架，具有高容错、低成本部署优势。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型数据集的应用程序。HDFS最初是作为Apache Nutch网络搜索引擎项目的基础设施而构建的，现在是Apache Hadoop子项目。 HDFS如何工作？HDFS支持计算节点之间的数据快速传输，文件系统多次复制或复制每个数据，并将副本分发到各个节点，将至少一个副本放在与其他服务器机架不同的服务器上。因此，崩溃的节点上的数据可以在群集中的其他位置找到。这可确保在恢复数据时继续处理。这使得HDFS高容错性。简单来说，HDFS将文件拆分为块，并将它们分布在集群中的节点上。 架构分析：HDFS采用的是主/从架构（master/slave ）