hadoop datanode块管理原理(hadoop最多允许几个datanode故障)

hadoop datanode块管理原理(hadoop最多允许几个datanode故障)

首页维修大全综合更新时间:2024-06-18 14:51:48

hadoop datanode块管理原理

答:Hadoop DataNode块管理原理如下:

1、两种文件

一个数据块在datanode上以文件形式存储在磁盘上,包括两个文件

数据本身

元数据:包括数据块的长度,块数据的校验和,以及时间戳。

2、DataNode工作机制

2.1、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向namenode上报所有的块信息。

2.2、NameNode每隔三秒向DataNode发送一次请求,达到确认该DataNode节点仍在服务,将指令发给DataNode节点

2.3、十分钟之内,DataNode向NameNode发送回执请求,确认DataNode仍在服务

2.4、如果超过十分钟DataNode仍没有发送回执请求,NameNode则认为该节点已经不可用。

3、动态服役、退役DataNode节点

在实际生产环境下,集群可能关闭或者启动将耗费很长时间,所以是不能够随意关闭启动的。在此状态下我们也能向集群中添加、删除DataNode节点

大家还看了
也许喜欢
更多栏目

© 2021 3dmxku.com,All Rights Reserved.