这是Fastmail Advent 2024系列的第二十二篇文章。之前的文章是Dec 21: Fastmail in a box，下一篇是Dec 23: Ten years of JMAP。

为何使用自有硬件

近期有“云回迁”的讨论，公司将从云端迁移到本地，有一些引人注目的例子。Fastmail 长期使用自有硬件，有二十多年运行和优化系统的经验，能高效利用裸金属服务器。相比迁移到云端，自有硬件能更好地优化成本，因为能更好地理解自身使用模式、需求和增长，有内部操作经验，硬件可使用较长时间并摊销成本。

多年来的硬件变化

25 年来，Fastmail 的 IMAP 服务器存储平台经历了多次变化，早期是旋转磁盘和 RAID 控制器的组合，后来将邮件数据写入快速 RAID1 SAS 卷，空闲时再移至 SATA 卷。

迁移到 NVMe SSDs

几年前，Fastmail 进行了最大的硬件升级，将所有邮件服务器迁移到新的 2U AMD 平台并使用纯 NVMe SSDs，密度和性能大幅提升，但当时 NVMe RAID 控制器未广泛可用，考虑过多种冗余方案后决定测试 ZFS。

ZFS 压缩与调优

在邮件服务器上使用 ZFS 时启用了透明 Zstandard 压缩，节省了约 40%的空间，通过随机抽样计算不同参数下的压缩效果，发现默认参数 128k 记录大小和 zstd-3 已经较好，将记录大小提升至 512k 可进一步提高约 4%的压缩比，但考虑到 zstd-9 的 CPU 成本较高，决定不进行此更改。

ZFS 加密

始终在所有驱动器上启用静态加密，在 ZFS 中这是内置的，减少了系统复杂性。

全面采用 ZFS

经过初步测试成功后，Fastmail 决定在所有大型数据存储需求中全面采用 ZFS，已使用 3 年多且效果良好，还将数据库、日志和备份服务器迁移到使用 ZFS 的 NVMe SSDs 上。

SSD 寿命

SSD 的闪存寿命有限，通过复杂的磨损均衡算法来延长寿命，实际生产环境中 SSD 的磨损情况数据表明，在当前使用速率下，远未达到额定写入容量就会因驱动器尺寸增加或新格式而更换，且 SSD 比 HDD 更可靠，故障率更低。

存储成本计算

将邮件存储迁移到 NVMe SSDs 后，对数据备份解决方案进行成本计算，比较了云存储、升级 HDD 和升级到新硬件三种方案。云存储价格差异较大，存在实施成本和带宽成本等问题；升级 HDD 可利用现有硬件，但存在容量和性能方面的担忧；升级到新硬件则具有更高的 IO 性能、更低的价格、内部网络低延迟等优势，但 upfront 成本较高。最终选择了新的 2U 服务器方案，该方案具有良好的性能和成本效益。

结论：运行自有硬件并非适合所有人，但在了解自身扩展需求和成本优化方面有显著优势。