Windows 10/11 有哪些文件数据去重(deduplication)的方案？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› 升级到 Windows 11

这是一个创建于 400 天前的主题，其中的信息可能已经有所发展或是发生改变。

已知对于 Windows Server ，NTFS 和 ReFS 均支持数据去重(deduplication)。这种去重似乎不是简单地把重复的文件删掉，而是创建两个引用指向同一个数据块，然后其中一个引用的文件发生修改时进行写时复制/CoW 。

但是非 Server 版似乎没有带有这样的功能，想问下非 Server 版有类似的解决方案吗？ NTFS 或 ReFS 的都行。

12 条回复 • 2024-04-07 17:01:00 +08:00

ho121

2023-11-20 10:11:43 +08:00 via Android

是说硬连接吗？

AoEiuV020JP

2023-11-20 10:22:55 +08:00

@ho121 #1 不是吧，硬链接改了一个其他都会改，这里是不会改其他文件的设计，

meattball

2023-11-20 10:26:29 +08:00 via iPhone

Windows 10/11 里面的存储空间似乎支持数据去重

kenvix

2023-11-20 10:45:25 +08:00

@ho121 硬链接在修改时不会发生 CoW ，不是去重

kenvix

2023-11-20 10:48:10 +08:00

@meattball 没有 RAID 的需求，用存储空间似乎实在是不合适，白白损失 CPU 和 SSD 性能

ho121

2023-11-20 11:06:30 +08:00

https://github.com/microsoft/CopyOnWrite 找到个这个，但说不支持 NTFS ，只支持 ReFS

ikas

2023-11-20 13:27:27 +08:00

提取 windows server 的相关功能包,然后装到 windows 中
使用 Microsoft-Windows-Dedup-Package-amd64 这个包作为关键词搜搜看吧

HarveyLiu

2023-11-20 16:57:18 +08:00

微软 ReFS 格式支持，但是不建议现在就迁移到 ReFS ，这个格式的版本有点混乱，目前还没统一，等统一了，就可以用它的，去重特性了，目前还是得用第三方的软件去重。

kenvix

2023-11-20 20:39:38 +08:00

@HarveyLiu ReFS 我已经在用了（ devdrv ），ReFS 的去重有相关文档嘛，我没找到非 server 的

mscsky

2023-11-21 09:35:30 +08:00

https://github.com/sunhanaix/dedup_files

kenvix

2023-11-21 19:14:53 +08:00

@mscsky 去重不是硬链接啊，不是硬链接啊，是文件系统层级的。不过这个工具非常适合微信这种到处拉屎的

Azreulo

261 天前

现在 Electron 更能到处拉屎，这框架确实好用方便，但太占资源，又太多重复文件。