UniFi Drive 在 ENAS 上支持块级重复数据删除( Deduplication ),可降低存储占用,提高空间利用率。本指南将说明 Deduplication 的原理以及推荐使用场景。如需备份 NAS 数据,请点击这里

Deduplication 工作原理

Deduplication 通过识别相同数据块,仅存储每个唯一数据块的一份副本。如果在存储池中多处出现相同数据,ENAS 会只保留 1 份副本,同时保证数据完整性与可用性。

Deduplication 不会:

  • 压缩数据
  • 加密数据
  • 降低传输流量
  • 提升上传 / 下载速度

其仅能减少硬盘上重复数据的实际存储空间。

推荐使用场景

Deduplication 最适用于存在大量重复或相似数据的环境,例如:

  • 备份仓库(虚拟机备份、系统备份、快照)
  • 基于类似操作系统模板的虚拟机镜像
  • 包含重复内容的数据集
  • 更重视存储效率、高于极限写入性能的场景

性能考量

Deduplication 能极大减少存储占用,但其运行会带来性能损耗。由于系统需在上传时扫描和比对数据,可能出现:

  • 上传、保存变慢
  • 系统资源消耗上升

如对性能和速度有极高要求,可考虑关闭此功能。

Deduplication 效果有限的场景

以下情况 Deduplication 效果有限:

  • 大容量、独特的媒体文件(如原始视频、高分辨率照片)
  • 加密的数据集
  • 主要为唯一数据的工作负载

此类情况下,Deduplication 可能仅带来额外开销,无法显著节省空间。

前提条件

  • ENAS
  • 元数据组( Metadata Group ,强烈建议)
    • Deduplication 大量依赖系统内存维护其查重表。为降低内存占用和性能影响,强烈建议配置 Metadata Group 。
      • Metadata Group 会将 Deduplication 元数据存储于 SSD ,而非系统内存。
      • 最低要求: 2 × SATA SSD (组建镜像)
      • 配置方法:进入 设置 > 存储池,选择已启用 Deduplication 的共享卷所在的存储池并设置 Metadata Group 。

启用 Deduplication

你可以在以下两种情况下启用 Deduplication :

  • 新建共享卷时启用
  • 或在已有共享卷的设置中启用

评估储存节省

启用 Deduplication 前,可运行 预估去重比( Estimate Deduplication Ratio )分析所选共享卷中重复数据的比例。

Deduplication 比( Ratio )用总数据量(逻辑)与实际占用空间(物理)做对比。

  • 比值为 2.0 :数据只占用一半空间(约 50% 为重复数据)
  • 比值为 3.0 :数据只用三分之一原空间(约 67% 是重复数据)

比值越高,说明重复数据越多,节省空间潜力越大。

建议通常在比值 大于 2.0 时启用 Deduplication —— 也就是至少有一半的数据为冗余,可以显著提升存储效率。

重要行为说明

  • 仅对启用 Deduplication 后写入的数据生效
  • 启用之前上传的文件不会被补做去重
  • 关闭 Deduplication 后上传的文件不会被去重

重要说明与注意事项

储存空间并非按共享卷统计

Deduplication 可对每个共享卷单独启用或关闭。但其实际是在存储池层面工作,在同一存储池的所有已启用 Deduplication 的共享卷之间统一查找和消除重复数据块。

例如,同一个文件存在于共享卷 A 与 B ,则只保存一份重复块。这会减少整个存储池的总空间消耗。

由于被去重的数据块在存储池层面共享,故无法准确统计各个共享卷单独所占空间,空间占用仅在存储池层面显示,而不是每个共享卷。

内存保护机制

如未配置 Metadata Group ,Deduplication 元数据将存储于系统内存( RAM )。

为保证系统稳定性,如 Deduplication 查重表占用内存超过 4 GB ,ENAS 会自动关闭 Deduplication 功能。

此情况下:

  • 现有数据不受影响,仍可正常访问;
  • 数据不会丢失;
  • 仅新写入的数据将不再去重。

强烈建议配置 Metadata Group ,以保障 Deduplication 可持续稳定运行。