本文固定链接为:https://www.askmac.cn/archives/hadoop-federation.html
本文是官方文档的翻译,原文链接:http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/Federation.html
1.目的
这个文档给出了HDFS Federation特性的概述,以及如何管理和配置Federation集群
2.背景:
HDFS 主要有2个层面:
- 命名空间:
包含目录,文件和块
它支持所有的名称空间相关的文件系统操作,如创建、删除、修改和列出文件和目录
- 块存储服务,包含2个层面:
块管理(在Namenode实现)
-通过保持注册和周期性的心跳提供DataNode注册资格。
-进程块的报表和维护块的位置。
-提供一些块的相关操作,例如创建,删除,修改和获取块位置。
-管理副本放置位置,在复制块下的块复制,和删除那些已经复制过的块
存储
-在DataNodes本地文件系统上能够存储块,并且是可读/写的。
当前的HDFS构架,在整个集群中只允许单一的命名空间。在这种配置下,一个独立的NameNode管理着命名空间。HDFS Federation解决这个限制,对HDFS中多个NameNode/namespaces 增加了支持。