每年递增10亿数据量的elasticsearch节点部署设计

使用ES存储即时通讯应用的聊天消息,用于消息搜索。每年新增消息量在10亿条左右,目前已有30亿左右数据存在mysql,将由mysql导入,后续新增的将直接写入ES。
请问基于设计原则,es每个分片存储在20~40gb比较好。这样是否适合尽量多部署节点,每个借点存储量可以少些,目前我们计划部署100个节点,每个节点使用4核8线,8gb内存的机器。
另外消息用于搜索,需搜索算量数据,(1)存在一个索引,(2)按日期存多个索引,使用同一个别名指向这些索引查询。2相对于1性能会好些吗?

阅读 1.7k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进