V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
lihongjie0209
V2EX  ›  问与答

Windows 系统删除大量小文件速度很慢

  •  1
     
  •   lihongjie0209 · 2019-07-13 19:26:10 +08:00 · 4649 次点击
    这是一个创建于 1129 天前的主题,其中的信息可能已经有所发展或是发生改变。

    文件量大概是 100W 左右吧, 是 NTFS 的锅还是 Windows 的锅?

    第 1 条附言  ·  2019-07-13 20:32:29 +08:00

    Linux 下删除90W小文件, 内容都是 helloWorld, 虚拟机, 机械硬盘

    [[email protected] tmp]# time rm -rf smallFiles
    
    real	1m45.096s
    user	0m0.813s
    sys	1m16.760s
    

    Windows10 删除100W小文件, 内容都是 helloWorld, 固态硬盘

    PS D:\> Remove-Item -LiteralPath 'tmp' -Force -Recurse
    

    开始时间 20:25 结束时间 我等结束后更新, 发帖时已经过去了5min还没有删除完成

    第 2 条附言  ·  2019-07-13 20:37:23 +08:00
    windows 删除耗时 10min
    9 条回复    2019-07-14 18:26:51 +08:00
    ipwx
        1
    ipwx  
       2019-07-13 19:29:13 +08:00
    别的系统也会很慢。

    这是文件系统的固有性质。
    lihongjie0209
        2
    lihongjie0209  
    OP
       2019-07-13 19:39:43 +08:00
    @ipwx linux 下面的简单测试

    ```
    // 生成 10w 个空白文件
    [[email protected] smallFiles]# time touch {1..100000}.txt

    real 0m5.860s
    user 0m0.150s
    sys 0m4.933s

    // 删除 10w 个空白文件
    [[email protected] smallFiles]# time rm -rf *

    real 0m3.018s
    user 0m0.316s
    sys 0m2.543s
    ```

    linux 由于命令行参数的限制, 没办法生成 100W 个文件, 但是 10W 个文件的操作基本都在秒级别, 但是我上次在 windows 下操作耗时是分钟级别的, 这是为什么?
    loading
        3
    loading  
       2019-07-13 19:41:41 +08:00 via Android
    windows 下也是命令行下测试吗?
    loading
        4
    loading  
       2019-07-13 19:42:07 +08:00 via Android
    你要测试 ntfs,linux 挂一下就能测试。
    minami
        5
    minami  
       2019-07-13 19:43:52 +08:00
    @lihongjie0209 #2 小文件和空白文件不一样的,网上随便搜了下:
    “在 ext4 中,是以范围为单位将磁盘空间分割成多个连续的去块的。利用 ext4 的范围预分配能力,可以在几乎一瞬间完成空文件的创建。

    对于为新文件保留的范围,ext4 会通过一个标志来标记其尚未被初始化。当对该标志标记的空间进行读取时,文件系统会自动返回 0 值。然而实际上并未把 0 值写入磁盘空间,从而缩短创建空文件的时间。”
    lihongjie0209
        6
    lihongjie0209  
    OP
       2019-07-13 19:44:16 +08:00
    @loading windows 是之前用 python 脚本生成的, 没有具体测试生成速度, 但是删除的时候等了好几分钟都没完成, 就没再关注了, 直接最小化到后台, 估计在删除 100W 文件 在 10min 以上
    lihongjie0209
        7
    lihongjie0209  
    OP
       2019-07-13 20:32:54 +08:00
    @minami 看一下我附言的测试结果
    ryd994
        8
    ryd994  
       2019-07-14 18:25:20 +08:00 via Android
    Linux 下虚拟机是什么虚拟机?虚拟磁盘有没有 cache ? ext4 的挂载选择是什么,有没有 journal=writeback。测试前后有没有 sync 以排除 cache 影响?
    ext4 和 ntfs 都是日志文件系统,理论上应该不怕小文件删除。
    ryd994
        9
    ryd994  
       2019-07-14 18:26:51 +08:00 via Android
    另外这个锅也可以是 PowerShell 的。为什么不用 del /s ?
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4256 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 08:14 · PVG 16:14 · LAX 01:14 · JFK 04:14
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.