hdfs 占用空间 df 和 du 不一致问题

[gouchaoer]

hadoop fs -df -h
Filesystem        Size   Used  Available  Use%
hdfs://cluster1  2.7 T  1.2 T      1.3 T   44%

hadoop fs -du -s -h /user/hive/warehouse
252.5 G  /user/hive/warehouse

为啥 du 和 df 算出来不一样，我 hdfs 只有 warehouse 里几百 G 的东西，绝不会用了 1.2 个 T ； 我经常性的把 hdfs 的某个目录作为临时目录用完就删除了，会不会是这个原因？

[defunct9]

找找垃圾箱里的东西吧，上次就是垃圾箱未回收导致 hdfs 挂了

[gouchaoer]

@defunct9 https://community.cloudera.com/t5/Hadoop-101-Training-Quickstart/HDFS-Disk-usage-is-not-consist-between-du-and-df-command/td-p/37166

[gouchaoer]

@defunct9 不是的垃圾箱为空

[knightdf]

du 和 df 本来就不一致

[zdyxry]

建议楼主看下这篇文章： http://linuxshellaccount.blogspot.hk/2008/12/why-du-and-df-display-different-values.html

[Infernalzero]

lsof |grep deleted
如果没有文件句柄未被释放的，就说明你磁盘挂载的时候出了问题，检查下对应的挂载

[gouchaoer]

@zdyxry
@Infernalzero linux 下的 du 和 df 并没有问题，hdfs 是几台机器抽象出来的，hadoop 的 du 和 df 是 hdfs 上的

[virusdefender]

du 默认不显示隐藏文件的

[cxbig]

du 只显示文件占用
df 还包括了系统进程占用

比方说某个进程卡死，关联的 log 文件缓存可以吃光硬盘空间。这个时候 du 是找不出来的，用 lsof 可以找到。