写在前面

本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系

解答

在这里插入图片描述

心跳机制

主节点和数据节点之间的通信协议如下:

  1. 每隔3s,数据节点都会发送心跳(heartbeat)信息给 NameNode节点,所以 NameNode水远都会实时知道哪些数据节点是在线的;
  2. 每隔1h,数据节点会发送完整的数据块报告给 NameNode,所以NameNode会知道系统上各个文件和相关数据块的准确位置。

在这里插入图片描述

工作原理

  1. master启动的时候,会运行 ipc server。
  2. slave启动,连接 master,每隔3秒钟向 master发送心跳,携带状态信息;
  3. master通过这个心跳的返回值,向 slave节点传达指令

作用

  1. NameNode全权管理数据块的复制,它周期性地从集群中的每个 DataNode接收心跳信号和块状态报告(BlockReport)。
    接收到心跳信号意味着该 DataNode节点工作正常。
    块状态报告包含了一个该 DataNode上所有数据块的列表。
  2. Data Node启动后向 NameNode注册,通过后,周期性(1小时)的向 NameNode上报所有的块的列表。
    每3秒向 NamNode发一次心跳,返回 NameNode 给该 DataNode的命令,如复制块数据到另一台机器,或删除某个数据块。
    如果 NameNode超过10分钟没有收到某个 DataNode的心跳,则认为该节点不可用。
  3. hadoop集群刚开始启动时,会进入安全模式(99.9%),就用到了心跳机制。
上一篇 下一篇