大数据和Hadoop平台介绍

2020-11-22
阅读 4 分钟
2.2k
大数据是指其大小和复杂性无法通过现有常用的工具软件,以合理的成本,在可接受的时限内对其进行捕获、管理和处理的数据集。这些困难包括数据的收入、存储、搜索、共享、分析和可视化。大数据要满足三个基本特征(3V),数据量(volume)、数据多样性(variety)和高速(velocity)。数据量指大数据要处理的数据量一般达...

本文将大数据学习门槛降到了地平线

2020-10-29
阅读 9 分钟
1.7k
原理是把大块数据切碎, 每个碎块复制三份,分开放在三个廉价机上,一直保持有三块可用的数据互为备份。使用的时候只从其中一个备份读出来,这个碎块数据就有了。 存数据的叫datenode(格子间),管理datenode的叫namenode(执伞人)。