Mars-Hadoop HDFS架构原理知识

HDFS架构图

namenode作用

由上面架构图可知，namenode作用：记录HDFS的元数据(比如：命名空间信息和块信息等),这些信息存储在内存中，这些信息也可以持久化到磁盘。

NameNode怎么把元数据保存到磁盘上的？

这里有两个不同的文件：

fsimage - 它是存储整个文件系统的命名空间，也可以理解为它是对整个HDFS文件系统的快照。 
edit logs - 它是在NameNode启动后，对文件系统的改动序列 

Namenode启动过程

NameNode把改动的操作写到HDFS的edit logs文件中，当NameNode服务重启时，NameNode会读取整个HDFS的快照并与edit logs合并，产生一个新的fsimage，旧的fsimage会自动删除。

潜在问题

在生产集群中NameNode服务是很少重启的，这也意味着当NameNode运行了很长时间后，edit logs文件会变得很大。在这种情况下就会出现下面一些问题：

NameNode的重启会花费很长时间，因为有很多改动要从edit logs合并到fsimage文件上。 如果NameNode挂掉了，那我们就丢失了很多改动因为此时的fsimage文件非常旧。 因此为了克服这个问题，需要一个易于管理的机制来帮助我们减小edit logs文件的大小和得到一个最新的fsimage文件，这样也会减小在NameNode上的压力

Secondary NameNode作用

SecondaryNameNode就是来帮助解决上述问题的，它的职责是合并NameNode的edit logs到fsimage文件中。

工作原理

首先，它定时到NameNode去获取edit logs，并更新到Secondary NameNode自己的fsimage上。一旦它有了新的fsimage文件，它将其拷贝回NameNode中。 

NameNode在下次重启时会使用这个新的fsimage文件，从而减少重启的时间。 Secondary NameNode的整个目的是在HDFS中提供一个检查点。它只是NameNode的一个助手节点。这也是它在社区内被认为是检查点节点的原因。

现在，我们明白了Secondary NameNode所做的不过是在文件系统中设置一个检查点来帮助NameNode更好的工作。它不是要取代掉NameNode也不是NameNode的备份。

而在Hadoop V0.21之后的版本中，这两个文件(edit logs和fsimage)被合并成了一个文件。

datanode作用

(1) 负责实际数据存储，以及副本存放(HDFS默认存储3份数据副本)

(2) 心跳检测(HearBeat)
    Datanode节点会每间隔一定的时间，把slave节点的运行状态上报给Namenode

(3) 在Datanode当中，以固定大小的Block(块)为基本单位来存放客户端文件，默认Block大小是128M【可以在hdfs-site.xml中修改】。当客户端上传文件大于128M，会被切割为2个Block存放在不同的slave节点上。

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2019/02/14/Mars-Hadoop-HDFS架构原理知识2/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！