文件合并

Hive迁移数据时发现大量小文件，严重影响Hive执行效率，在这里记录下小文件合并的问题。 小文件产生的原因 执行MapReduce任务时，通过会作一些优化，比如增加Reduce并行度来提升计算效率。而Reduce的增多意味着输出结果文件的增多，所以会产生小文件问题。 小文件产生的问题 NameNode存储元数据信息，包括HDFS的抽象目录树结构，存储数据和block分块对应关系、位置、大小等，启动时会加载到内存。每个存储对象大约150字节，所以当文件达到千万级时，内存中的元数据达到3G以上，NameNode的性能就会受影响。 HDFS文件读写时，会先向NameNode获取元数据信息，再通过元数据找到block对应的DataNode进行文件读写，大量的小文件会导致HDFS的读写受到影响。 执行Hive任务时，每个文件执行一个MapTask，小文件数据过多，会导致大量MapTask的不断启动和初始化，这样时间远远大于逻辑处理时间，导致Hive任务时间太长，造成资源浪费，甚至oom。执行Hive任务时，如果发现数据量不大但是任务数很多时，应该注意在Map的输入进行小文件合并。 Hive优化方式 1. 输入合并，也就是在Hive读取文件，Map读取时进行小文件合并。 2. 输出合并，在MapReduce输出结果时进行小文件合并。 3. JVM重用

将指定目录下的以"logcat.log."开头的文件内容合入到log_all.txt部分先后 ./merge_log.sh 指定文件夹路径 #!/bin/bash log_dir = $1 echo "log_dir:: $log_dir " cd $log_dir find ./ -name "logcat.log.*" | xargs sed 'a\' > log_all.txt 来源： https://blog.csdn.net/zxlworking1/article/details/99675526