首页 / 科技数码 / 正文

简要描述HDFS数据的读写过程 

HDFS数据的读写过程如下:

1. 写入过程:

      - 客户端向NameNode发起请求。

      - NameNode审核权限和剩余空间,满足条件后允许写入,并告知客户端写入的DataNode地址。

      - 客户端指向指定的DataNode发送数据包。

      - 被写入数据的DataNode同时完成数据副本的复制工作,将其接受的数据分发给其他DataNode。

      - 写入完成后,客户端通知NameNode,NameNode做元数据记录工作。

2. 读取过程:

      - 客户端向NameNode申请读取某文件。

      - NameNode判断服务端权限等细节后,允许读取,并返回此文件的block列表。

      - 客户端拿到block列表后自行寻找DataNode读取即可。

需要注意的是,无论读还是写,NameNode都不经手数据,均是客户端和DataNode直接通讯,以减轻NameNode的压力。

如有侵权请及时联系我们处理,转载请注明出处来自