V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kenvix
V2EX  ›  Windows

Windows 10/11 有哪些文件数据去重(deduplication)的方案?

  •  
  •   kenvix · 2023-11-20 10:06:15 +08:00 · 1610 次点击
    这是一个创建于 390 天前的主题,其中的信息可能已经有所发展或是发生改变。

    已知对于 Windows Server ,NTFS 和 ReFS 均支持数据去重(deduplication)。这种去重似乎不是简单地把重复的文件删掉,而是创建两个引用指向同一个数据块,然后其中一个引用的文件发生修改时进行写时复制/CoW 。

    但是非 Server 版似乎没有带有这样的功能,想问下非 Server 版有类似的解决方案吗? NTFS 或 ReFS 的都行。

    12 条回复    2024-04-07 17:01:00 +08:00
    ho121
        1
    ho121  
       2023-11-20 10:11:43 +08:00 via Android
    是说硬连接吗?
    AoEiuV020JP
        2
    AoEiuV020JP  
       2023-11-20 10:22:55 +08:00
    @ho121 #1 不是吧,硬链接改了一个其他都会改,这里是不会改其他文件的设计,
    meattball
        3
    meattball  
       2023-11-20 10:26:29 +08:00 via iPhone
    Windows 10/11 里面的存储空间似乎支持数据去重
    kenvix
        4
    kenvix  
    OP
       2023-11-20 10:45:25 +08:00
    @ho121 硬链接在修改时不会发生 CoW ,不是去重
    kenvix
        5
    kenvix  
    OP
       2023-11-20 10:48:10 +08:00
    @meattball 没有 RAID 的需求,用存储空间似乎实在是不合适,白白损失 CPU 和 SSD 性能
    ho121
        6
    ho121  
       2023-11-20 11:06:30 +08:00
    https://github.com/microsoft/CopyOnWrite 找到个这个,但说不支持 NTFS ,只支持 ReFS
    ikas
        7
    ikas  
       2023-11-20 13:27:27 +08:00
    提取 windows server 的相关功能包,然后装到 windows 中
    使用 Microsoft-Windows-Dedup-Package-amd64 这个包作为关键词搜搜看吧
    HarveyLiu
        8
    HarveyLiu  
       2023-11-20 16:57:18 +08:00
    微软 ReFS 格式支持,但是不建议现在就迁移到 ReFS ,这个格式的版本有点混乱,目前还没统一,等统一了,就可以用它的,去重特性了,目前还是得用第三方的软件去重。
    kenvix
        9
    kenvix  
    OP
       2023-11-20 20:39:38 +08:00
    @HarveyLiu ReFS 我已经在用了( devdrv ),ReFS 的去重有相关文档嘛,我没找到非 server 的
    mscsky
        10
    mscsky  
       2023-11-21 09:35:30 +08:00
    kenvix
        11
    kenvix  
    OP
       2023-11-21 19:14:53 +08:00
    @mscsky 去重不是硬链接啊,不是硬链接啊,是文件系统层级的。不过这个工具非常适合微信这种到处拉屎的
    Azreulo
        12
    Azreulo  
       251 天前
    现在 Electron 更能到处拉屎,这框架确实好用方便,但太占资源,又太多重复文件。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2433 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 09:43 · PVG 17:43 · LAX 01:43 · JFK 04:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.