小企业自建私有云的方案有哪些？如何平衡SSD和HDD性能？

Question

就目前我了解到比较好的方案有：

1. VMware vSphere + vSAN + NSX-T （受限于资金不考虑）
2. CNware （受限于资金不考虑）
3. Proxmox VE + Ceph + OpenStack （首选）
4. StarVCenter
5. ZStack
6. SmartX
7. Nutanix CE

目前小公司组超融合（现有的机器是Dell R720xd、华为2288H v2），方案（期待的最佳方案是 进可公有云、退可私有云）是pve+ceph+OpenStack需要使用OpenStack提供的cloud-init、浮动ip、负载均衡，也是跑k8s集群，受限于资金问题只能使用HDD+SSD混合磁盘组，目前还在测试评估阶段，发现ceph这边的缓存层性能似乎不是很好。

测试使用过VMware vSAN的hybird disk group方案，发现缓存效果非常棒。不幸的是vSAN+vSphere真的非常吃内存，对于1T SSD缓存层 基本上vSAN需要保留20G左右的内存供自己使用。而vCenter即便是使用微型架构，也需要占据12G的内存。

我看到RedHat文档里面很早就提到废弃Cache Tiering，并且不再提供技术支持。Ceph的文档里面也提到缓存层很多情况下效果并不好。但另一方面，我看到很多中小型IDC都是使用Ceph存储，并且使用SSD作为缓存层加速HDD，买了别人家的服务器实际fio测试下来都能跑到2k多iops（大概是限制了iops）。

另外，我已经尝试过 ：

1. 使用NVME作为DB/WAL磁盘加速日志，效果依旧不佳，只有800iops
2. 按照官方文档构建步骤，使用NVME作为Cache Tiering。效果仍然不佳并没有提升。根据各方资料，我大概知道了应该是缓存预热时间不够的问题。

查了几星期的资料，也去reddit、proxmox问了很多，基本上大家比较一致的回答是：

1. 全闪存磁盘并且使用NVME加速
2. 将SSD和HDD分开成两个存储池，按业务需求放置不同存储池

所以，我想知道在不改变现有硬件（网卡是千兆的）的情况下怎样提升HDD上突发4k随机读写性能？