SF
大数据
大数据
注册登录
关注博客
注册登录
主页
关于
RSS
zookeeper
Youchang_Xu
2018-10-06
阅读 3 分钟
1.6k
其他组件对zookeeper的依赖 Hbase [链接] kafka [链接] [链接] zookeeper特性 参考:[链接] 最终一致性:保证各个节点服务器数据能够最终达成一致,zk的招牌功能 顺序性:从同一客户端发起的事务请求,都会最终被严格的按照其发送顺序被应用到zk中,这也是zk选举leader的依据之一 可靠性:凡是服务器成功的使用一个事务...
HBase
Youchang_Xu
2018-09-29
阅读 2 分钟
2.4k
行存储与列存储的优缺点是什么? [链接] HBase是怎么实现的? Hbase特性与架构 [链接] HBase 的集群是通过 Zookeeper 来进行机器之前的协调,也就是说 HBase Master 与 Region Server 之间的关系是依赖 Zookeeper 来维护。当一个 Client 需要访问 HBase 集群时,Client 需要先和 Zookeeper 来通信,然后才会找到对应的 R...
MapReduce
Youchang_Xu
2018-09-28
阅读 4 分钟
2.2k
MapReduce 参考:[链接][链接][链接][链接] 本文结构: MapReduce模型说明 MapReduce1与MapReduce2对比 Yarn架构 Yarn运行流程 MapReduce模型说明 MapReduce模型基于“映射”与“归约”的思想,把一堆杂乱无章的数据按照某种特征归纳起来,然后处理并得到最后的结果。Map面对的是杂乱无章的互不相关的数据,它解析每个数据,...
HDFS
Youchang_Xu
2018-09-22
阅读 10 分钟
3.5k
本文主要介绍hadoop2.x版本,分析代码主要位于hadoop-hdfs-project/hadoop-hdfs/src/main/java/org/apache/hadoop/hdfs/server下namenode、datanode与protocol。
Hadoop概述
Youchang_Xu
2018-09-18
阅读 1 分钟
1.6k
参考资料:hdfs官网:[链接]Hbase:[链接]关系型数据库vs非关系型数据库:[链接]zookeeper:[链接]hadoop为应对大数据处理场景的分布式基础架构,核心包括分布式存储与分布式计算。