HDFS體系架構(gòu)

HDFS（Hadoop Distributed File System，Hadoop分布式文件系統(tǒng)）是Hadoop項(xiàng)目中的一個(gè)核心組件，旨在以高容錯(cuò)、高吞吐量來處理大規(guī)模數(shù)據(jù)集。它的體系架構(gòu)由以下幾個(gè)主要部分組成：Client，NameNode，DataNode，SecondaryNameNode

1.Client：客戶端

? ? ? ? 1.文件切分

? ? ? ? 2.與NameNode交互，獲取文件元數(shù)據(jù)信息

? ? ? ? 3.與DataNode交互，讀取或?qū)懭霐?shù)據(jù)

? ? ? ? 4.與HDFS進(jìn)行交互

2.NameNode：Master(管理者)

? ? ? ? 1.管理HDFS的元數(shù)據(jù)空間

? ? ? ? 2.管理block塊的映射信息

? ? ? ? 3.接受DataNode心跳，管理DataNode信息

? ? ? ? 4.處理客戶端的讀寫請(qǐng)求

3.DataNode：Slave(NN下達(dá)命令執(zhí)行實(shí)際的操作)

? ? ? ? 1.?存儲(chǔ)實(shí)際的數(shù)據(jù)塊

? ? ? ? 2.執(zhí)行數(shù)據(jù)塊的讀寫操作

? ? ? ? 3.向NameNode發(fā)送心跳，以及block塊匯報(bào)

4.Secondary NameNode?

? ? ? ? 1.并非NameNode的熱備份，當(dāng)NameNode停止服務(wù)的時(shí)候不能馬上代替NameNode

? ? ? ? 2.輔助NameNode，分擔(dān)工作量

? ? ? ? 3.定期合并fsimage和editslog，推送給NameNode

? ? ? ? 4.緊急情況下可以輔助恢復(fù)namenode

HDFS寫入/下載流程

????????客戶端 請(qǐng)求 NameNode 創(chuàng)建一個(gè)新文件。
????????NameNode 檢查文件是否已存在，并驗(yàn)證客戶端權(quán)限。
????????NameNode 創(chuàng)建一個(gè)新文件條目，返回給客戶端數(shù)據(jù)塊的位置信息（即哪些 DataNode 將存儲(chǔ)數(shù)據(jù)塊的副本）。
????????客戶端 按順序?qū)?shù)據(jù)塊寫入到指定的 DataNode。
????????DataNode 將數(shù)據(jù)塊復(fù)制到其他 DataNode 以確保副本數(shù)量。
????????DataNode 向 NameNode 報(bào)告已存儲(chǔ)的數(shù)據(jù)塊信息。

????????客戶端 請(qǐng)求 NameNode 讀取文件。
????????NameNode 返回文件的元數(shù)據(jù)和數(shù)據(jù)塊位置信息。
????????客戶端 按順序從相應(yīng)的 DataNode 讀取數(shù)據(jù)塊。
????????客戶端 匯總數(shù)據(jù)塊，呈現(xiàn)完整文件。