实时接收硬件设备的大量数据，数据比较大有什么建议存储的方法？

2010peterlee

发布于
2019-02-21

问题描述

有几百个设备，每个设备每秒都会产生一些实时的数据，这些数据后期要拿来分析和利用，用什么方式存储这些数据比较好？

问题出现的环境背景及自己尝试过哪些方法

之前存储在mysql中，阿里云的mysql存储也有限制要么就升级，关键是即便是升级数据量大了速度也慢，有没有些更好的方式存储这些数据，方便存储也方便后面拿出来分析？如存入到文件

阅读 3.5k

4 个回答

咸鱼看世界

发布于
2019-02-21

MongoDB可以也可以考虑一下

发布于
2019-02-21

如果允许数据丢失，可以考虑使用ELK收集储存。

xialeistudio

发布于
2019-02-21

mysql存储关系数据，比如设备ID，时间等等
具体数据建议存到阿里云的 OSS，这样保证查询方便，MYSQL负载也不大

发布于
2019-02-22

更新于
2019-02-22

百万每秒的数据量级，推荐使用hbase进行存储
由于你并不是要求实时的分析，所以可以在设备中进行本地缓存进行批量上传
如果需要使用消息队列，推荐使用kafka

撰写回答

你尚未登录，登录后可以

和开发者交流问题的细节
关注并接收问题和回答的更新提醒
参与内容的编辑和改进，让解决方法与时俱进

推荐问题

相似问题

找不到问题？创建新问题