技术教程 编程教程 HBase、HDFS和MapReduce架构异同简解 正文

HBase、HDFS和MapReduce架构异同简解

2023-06-25,,

HBase、HDFS和MapReduce架构异同

.. HBase（公司架构模型） HDFS2.0（公司架构模型） MR2.0（公司架构模型） MR1.0（公司架构模型）
中央 HMaster NameNode(NN) ResourceManger(RM) JobTracker(JT)
地方 HRegionServer(HRS) DataNode(DN) NodeManager(NM) TaskTracker(TT)
监控协调者 ZooKeeper ZooKeeper ZooKeeper 无
是否有HA HMaster-backups NN（Standby） RM（Standby） 无，存在单点故障
故障转移方式 1.HMaster与ZooKeeper直接通讯（谁先建立znode，则谁为active）
2.HRegionServer与ZooKeeper直接通讯		 NM不与ZooKeeper直接通讯，ZKFC监控NM状态，ZKFC与ZK通讯，由ZKFC来参与选举（谁先建立znode，则谁为active） RM直接与ZK直接通讯，谁先建立znode，则谁为active 无，存在单点故障
地方故障谁负责恢复和转移 HMaster NameNode ResourceManager JobTracker
中央与地方的通讯 HRegionServer与ZK心跳，HMaster从ZK获取HRS状态 DN周期性向NN汇报 NM周期性向RM汇报 TT周期性向JT汇报
中央的共同职责 1. 负责地方任务的分配和故障转移
2. 监听地方的健康状态（HMaster从ZooKeeper获取HRegionServer的状态）
3. 地方资源的分配
中央各特点 分配HRegionServer上的Region 分配DN的block 分配NM上container上的任务 分配TaskTracker上的task
负载均衡 HRS上region的负载均衡 block的负载均衡
特点 1.Region的预分区、分裂和合并
2.Compaction机制
3.WAL机制
4.读写流程		 1.副本策略
2.数据写入的副本管道传输机制
3.联邦制		 1.资源调度和应用管理独立进程
2.NM上节点资源由NM管理，ApplicationManager和 AppliactionMaster管理任务
3.container概念		 1.将资源划分为等量以slot为单位
2.maptask和reducetask独立分配

HBase、HDFS和MapReduce架构异同简解的相关教程结束。

《HBase、HDFS和MapReduce架构异同简解.doc》

下载本文的Word格式文档，以方便收藏与打印。

Copyright 2023. 昆居客 - IT编程,互联网信息技术文档大全!