前言
注意本文说的“海量”并不是指体积大，而是指数量，比如一个目录下有数百万个小文件。最近在优化服务器时发现postfix下的maildrop目录和clientmqueue目录还有var目录下发现有大量的文件，进入这些目录里使用ls命令是愚蠢的做法，而直接执行rm * ， 没有任何反应，文件数量也没有减少，也就是说，在海量文件目录里直接使用rm命令进行删除是无效的。
常规方法：
那么正确的方法是什么呢？有两种方法可选：
第一种：
| 1 |
|
第二种：
| 2 |
|
一、快速删除大量/散/海量文件/碎片化的文件
方法1、快速删除大量文件：
假如你要在linux下删除大量文件，比如100万、1000万，像/var/spool/clientmqueue/的mail邮件，/usr/local/nginx/proxy_temp的nginx缓存等，那么rm -rf *可能就不好使了。 rsync 可以用来清空目录或文件，如下：
1）先建立一个空目录
mkdir -p /data/blank
2）用rsync删除目标目录
rsync--delete-before -d /data/blank/ /var/spool/clientmqueue/
这样目标目录很快就被清空了
注：其中--delete-before 接收者在传输之前进行删除操作
不要忘记文件夹后的“/”
附：
rsync的跟删除相关的参数
rsync --help | grep delete
--del an alias for --delete-during
--delete delete files that don't exist on the sending side
--delete-before receiver deletes before transfer (default)
--delete-during receiver deletes during transfer, not before
--delete-after receiver deletes after transfer, not before
--delete-excluded also delete excluded files on the receiving side
--ignore-errors delete even if there are I/O errors
--max-delete=NUM don't delete more than NUM files
rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/这样我们要删除的log目录就会被清空了，删除的速度会非常快。rsync实际上用的是替换原理，处理数十万个文件也是秒删。
选项说明：
–delete-before 接收者在传输之前进行删除操作
–progress 在传输时显示传输过程
-a 归档模式，表示以递归方式传输文件，并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
–stats 给出某些文件的传输状态
方法2、快速删除大量文件：
直接进入到对应的目录，然后执行命令，快速删除大量散文件和重复碎片化文件
ls | xargs -n 10 rm -rf二、快速删除大文件或者大容量内容文件
方法1、快速删除大文件：
假如你有一些特别大的文件要删除，比如nohup.out这样的实时更新的文件，动辄都是几十个G上百G的，也可以用rsync来清空大文件，而且效率比较高。
1）创建空文件
touch/data/blank.txt
2）用rsync清空文件
rsync-a --delete-before --progress --stats /root/blank.txt /root/nohup.out
方法2、通过重定向到 Null 来清空文件内容清空或者让一个文件成为空白的最简单方式，是像下面那样，通过 shell 重定向 null （不存在的事物）到该文件：
# > access.log
方法3、使用符号或者命令（实际上就是用命令写入覆盖0内容），例如：
：符号
# : > access.log # true > access.log
命令写入
# cat /dev/null > access.log
# cp /dev/null access.log
# dd if=/dev/null of=access.log
# echo "" > access.log 或者 # echo > access.log
# echo -n "" > access.log
# truncate -s 0 access.log上面这两种方法可以成功的删除海量文件，速度也很快。但还有一种更好的方法，比如要删除上面提到的clientmqueue目录，里面全部是一个一个的邮件，用下面的方法：
service sendmail stop
cd /var/spool
mv clientmqueue clientmqueue-todelete
mkdir clientmqueue
chown --reference=clientmqueue-todelete clientmqueue
chmod --reference=clientmqueue-todelete clientmqueue
service sendmail start
rm -rf clientmqueue-todelete
上面的方法是将目录重命名，然后使用了 --reference 引用参数来重建目录，然后删除重命名的目录。直接删除目录的方法速度是十分的快。也可以留着备份不删。更安全。三、思考为什么这些工具/命令能够做到快速删除（原理）
3、为什么rsync能够快速删除大文件？
1）rm命令大量调用了lstat64和unlink，可以推测删除每个文件前都从文件系统中做过一次lstat操作。过程：正式删除工作的第一阶段，需要通过getdirentries64调用，分批读取目录（每次大约为4K），在内存中建立rm的文件列表；第二阶段，lstat64确定所有文件的状态；第三阶段，通过unlink执行实际删除。这三个阶段都有比较多的系统调用和文件系统操作。
2）rsync所做的系统调用很少：没有针对单个文件做lstat和unlink操作。命令执行前期，rsync开启了一片共享内存，通过mmap方式加载目录信息。只做目录同步，不需要针对单个文件做unlink。
另外，在其他人的评测里，rm的上下文切换比较多，会造成System CPU占用较多——对于文件系统的操作，简单增加并发数并不总能提升操作速度。
总结：
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流
频繁做减法不如直接从头来过
把文件系统的目录与书籍的目录做类比，rm删除内容时，将目录的每一个条目逐个删除(unlink)，需要循环重复操作很多次；rsync删除内容时，建立好新的空目录，替换掉老目录，基本没开销。
【参考资料】Linux 下清空或删除大文件/大量文件的几种方法_linux 清空文件夹 https://blog.csdn.net/sd4493091/article/details/80414053
来源：oschina
链接：https://my.oschina.net/u/4412439/blog/4912749