最快备份靠什么:五个瓶颈和按性价比排序的优化顺序
•
阅读 11
•
2 分钟读完
直接给排序:备份速度的瓶颈按影响从大到小是——小文件元数据、源盘随机读、压缩算法、网络带宽、加密。优化顺序也应该照这个来,很多人一上来换万兆网卡,结果瓶颈根本不在网络。
五个瓶颈各自的表现
- 小文件元数据:10 万个小文件、总量 20GB 的目录,机械盘上仅遍历扫描就要 10 到 20 分钟,实际传输可能只占三分之一时间。
- 源盘随机读:机械盘随机读只有 1 到 2MB/s,顺序读能到 120MB/s。备份恰恰是随机读为主的负载。
- 压缩算法:gzip -9 单核大约 30MB/s,zstd -3 能到 300MB/s 以上。压缩级别从 9 降到 3,体积只多 10%,速度快近十倍。
- 网络带宽:千兆网实测上限约 110MB/s,万兆约 1.1GB/s。跨公网时经常只有 20 到 50Mbps,成为绝对瓶颈。
- 加密:AES-NI 硬件加速下开销很小,纯软件实现可能吃掉 20% 到 30% 的速度。
按性价比排的优化顺序
- 第一 改增量:把每天全量改成块级增量,传输量直接降到几个百分点。收益最大,几乎零成本。
- 第二 排除无用目录:缓存、临时文件、node_modules、回收站、虚拟机磁盘。一个 2TB 的系统盘实际有效数据常常不到 300GB。
- 第三 调配压缩级别:选 zstd 或 lz4,别用 gzip -9。备份是每天都要跑的任务,省 CPU 比省空间重要。
- 第四 并发:多目录并行、分表并行导出。mysqldump 单线程导 100GB 要很久,按表拆成 8 个进程能快 3 到 4 倍。
- 第五 换介质或升带宽:成本最高、见效不一定明显,放在最后考虑。
一个对照参考
同一个 20GB、约 8 万个小文件的目录:机械盘全量扫描约 25 分钟,SSD 约 6 分钟;改用增量后每天只处理变化文件,通常 1 分钟内结束;如果目标端是千兆网络存储,还要再加约 3 分钟传输。这几个数字能帮你判断,钱该花在盘上还是网上。
行动建议:先给现有备份任务加一个计时日志,记录每次的耗时和传输量。有了这两个数,才知道优化该从哪一步开始,而不是凭感觉换硬件。
相关问答 FAQ
备份慢是软件的问题还是硬件的问题?
多数是负载特征和配置的问题。小文件多、机械盘、gzip -9 这三项叠加,任何软件都会慢;改成增量加 zstd 后,同一台机器往往能快五到十倍。
压缩率设多少合适?
日常备份建议 zstd 级别 3 到 6,兼顾速度和体积;只在长期归档时用更高级别。压缩率从 3 提到 9,体积通常只降 10% 左右,时间却翻几倍。
备份到 NAS 比本地盘慢多少?
千兆网络下顺序写入约 100MB/s,和机械盘本地写差不多;但小文件场景因为协议开销,可能只有本地盘的三分之一到一半。大量小文件建议先打包再传。
本文由 小编 整理发布,转载请注明出处:http://www.iis8.com/ask/100291.html
页面配图仅供示意,如涉版权请联系管理员删除。
本站内容为原创或整理,转载请注明出处并保留原文链接。
评论(1)
发表评论