一年数据接近1个亿非结构化数据的场景,用的什么数据库合适?

RobinTang
  • 3.9k

我们想要全面的记录用户行为,之前买过成熟的统计分析工具(类似百度站长),但想要的很多功能没有,很多不需要的功能倒是挺多的,结果就是成本不低但达不到我们的预期。所以考虑自己做套简易的收集系统,搭配本身系统自身能够把数据维度做多一些。
近半年做了些基础测试工作,用的mongodb收集数据,把用户在页面上的操作、浏览记录都记下来,半年已经4千多万数据了(10多GB),但感觉现在查询效率不高,关键字段已经做了索引之类了。
场景无需对事务支持、数据丢失点都没关系、数据一次写入就不会再更改了、非结构化、数据量大这些特性出发有没有更合适的简单点的数据库呢。

莫非必须得走Hbase这些大件才行么?

回复
阅读 685
2 个回答

ELK套件,或者直接用其中的ElasticSearch。
如果你用云服务,各大云厂商都有日志服务的,性能比ElasticSearch高,量级也大。就是比较费钱。

dgraph 也不错, 1亿数据量单机就够了

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
你知道吗?

宣传栏