直接给排序:备份速度的瓶颈按影响从大到小是——小文件元数据、源盘随机读、压缩算法、网络带宽、加密。优化顺序也应该照这个来,很多人一上来换万兆网卡,结果瓶颈根本不在网络。

五个瓶颈各自的表现

  • 小文件元数据:10 万个小文件、总量 20GB 的目录,机械盘上仅遍历扫描就要 10 到 20 分钟,实际传输可能只占三分之一时间。
  • 源盘随机读:机械盘随机读只有 1 到 2MB/s,顺序读能到 120MB/s。备份恰恰是随机读为主的负载。
  • 压缩算法:gzip -9 单核大约 30MB/s,zstd -3 能到 300MB/s 以上。压缩级别从 9 降到 3,体积只多 10%,速度快近十倍。
  • 网络带宽:千兆网实测上限约 110MB/s,万兆约 1.1GB/s。跨公网时经常只有 20 到 50Mbps,成为绝对瓶颈。
  • 加密:AES-NI 硬件加速下开销很小,纯软件实现可能吃掉 20% 到 30% 的速度。

按性价比排的优化顺序

  • 第一 改增量:把每天全量改成块级增量,传输量直接降到几个百分点。收益最大,几乎零成本。
  • 第二 排除无用目录:缓存、临时文件、node_modules、回收站、虚拟机磁盘。一个 2TB 的系统盘实际有效数据常常不到 300GB。
  • 第三 调配压缩级别:选 zstd 或 lz4,别用 gzip -9。备份是每天都要跑的任务,省 CPU 比省空间重要。
  • 第四 并发:多目录并行、分表并行导出。mysqldump 单线程导 100GB 要很久,按表拆成 8 个进程能快 3 到 4 倍。
  • 第五 换介质或升带宽:成本最高、见效不一定明显,放在最后考虑。

一个对照参考

同一个 20GB、约 8 万个小文件的目录:机械盘全量扫描约 25 分钟,SSD 约 6 分钟;改用增量后每天只处理变化文件,通常 1 分钟内结束;如果目标端是千兆网络存储,还要再加约 3 分钟传输。这几个数字能帮你判断,钱该花在盘上还是网上。

行动建议:先给现有备份任务加一个计时日志,记录每次的耗时和传输量。有了这两个数,才知道优化该从哪一步开始,而不是凭感觉换硬件。