V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kenvix
V2EX  ›  Windows

Windows 10/11 有哪些文件数据去重(deduplication)的方案?

  •  
  •   kenvix · 16 天前 · 1045 次点击

    已知对于 Windows Server ,NTFS 和 ReFS 均支持数据去重(deduplication)。这种去重似乎不是简单地把重复的文件删掉,而是创建两个引用指向同一个数据块,然后其中一个引用的文件发生修改时进行写时复制/CoW 。

    但是非 Server 版似乎没有带有这样的功能,想问下非 Server 版有类似的解决方案吗? NTFS 或 ReFS 的都行。

    11 条回复    2023-11-21 19:14:53 +08:00
    ho121
        1
    ho121  
       16 天前 via Android
    是说硬连接吗?
    AoEiuV020JP
        2
    AoEiuV020JP  
       16 天前
    @ho121 #1 不是吧,硬链接改了一个其他都会改,这里是不会改其他文件的设计,
    meattball
        3
    meattball  
       16 天前 via iPhone
    Windows 10/11 里面的存储空间似乎支持数据去重
    kenvix
        4
    kenvix  
    OP
       16 天前
    @ho121 硬链接在修改时不会发生 CoW ,不是去重
    kenvix
        5
    kenvix  
    OP
       16 天前
    @meattball 没有 RAID 的需求,用存储空间似乎实在是不合适,白白损失 CPU 和 SSD 性能
    ho121
        6
    ho121  
       16 天前
    https://github.com/microsoft/CopyOnWrite 找到个这个,但说不支持 NTFS ,只支持 ReFS
    ikas
        7
    ikas  
       16 天前
    提取 windows server 的相关功能包,然后装到 windows 中
    使用 Microsoft-Windows-Dedup-Package-amd64 这个包作为关键词搜搜看吧
    HarveyLiu
        8
    HarveyLiu  
       16 天前
    微软 ReFS 格式支持,但是不建议现在就迁移到 ReFS ,这个格式的版本有点混乱,目前还没统一,等统一了,就可以用它的,去重特性了,目前还是得用第三方的软件去重。
    kenvix
        9
    kenvix  
    OP
       15 天前
    @HarveyLiu ReFS 我已经在用了( devdrv ),ReFS 的去重有相关文档嘛,我没找到非 server 的
    kenvix
        11
    kenvix  
    OP
       14 天前
    @mscsky 去重不是硬链接啊,不是硬链接啊,是文件系统层级的。不过这个工具非常适合微信这种到处拉屎的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3308 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 599ms · UTC 10:42 · PVG 18:42 · LAX 02:42 · JFK 05:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.