1. MapReduce定義

MapReduce是一個分布式運算程序的編程框架，是用戶開發(fā)“基于Hadoop的數(shù)據(jù)分析應(yīng)用”的核心框架。

MapReduce核心功能是將用戶編寫的業(yè)務(wù)邏輯代碼和自帶默認組件整合成一個完整的分布式運算程序，并發(fā)運行在一個Hadoop集群上。

2. MapReduce優(yōu)缺點

2.1 優(yōu)點

• MapReduce易于編程

它簡單的實現(xiàn)一些接口，就可以完成一個分布式程序，這個分布式程序可以分布到大量廉價的機器上運行，也就是說你寫一個分布式程序，跟寫一個簡單的串行程序是一模一樣的。

• 良好擴展性

可以動態(tài)增加服務(wù)器，解決計算資源不夠的問題。

• 高容錯性

任何一臺機器掛掉，可以將任務(wù)轉(zhuǎn)移到其他節(jié)點。

• 適合海量數(shù)據(jù)計算

幾千臺服務(wù)器共同計算。

2.2 缺點

• 不擅長實時計算。
• 不擅長流式計算。
• 不擅長DAG有向無環(huán)圖計算。

3. MapReduce核心編程思想

4. MapReduce進程

一個完整的MapReduce程序在分布式運行時有三類實例進程。

• MrAppMaster：負責(zé)整個程序的過程調(diào)度及狀態(tài)協(xié)調(diào)。
• MapTask：負責(zé)Map階段的整個數(shù)據(jù)處理流程。
• ReduceTask：負責(zé)Reduce階段的整個數(shù)據(jù)處理流程。

4.1 Mapper階段

• 用戶自定義的Mapper要繼承自己的父類。
• Mapper的輸入數(shù)據(jù)是KV對的形式（KV的類型可以自定義）
• Mapper中的業(yè)務(wù)邏輯寫在map()方法中。
• Mapper的輸出數(shù)據(jù)是KV對的形式（KV的類型可自定義）
• map()方法（MapTask進程）對每一個<K,V>調(diào)用一次。

Mapper階段的輸入數(shù)據(jù)是<偏移量，String的序列類型>

輸出數(shù)據(jù)是<String的序列類型，Int的序列類型>

4.2 Reducer階段

• 用戶自定義的Reducer要繼承自己的父類。
• Reducer的輸入數(shù)據(jù)類型對應(yīng)Mapper的輸出數(shù)據(jù)類型，也是KV。
• Reducer的業(yè)務(wù)邏輯寫在reduce方法中
• ReduceTask進程對每一組相同的<KV>組調(diào)用一次reduce方法。

Reducer階段的輸入數(shù)據(jù)是<String的序列類型，集合類型>

輸出數(shù)據(jù)是<String的序列類型，Int的序列類型>

4.3 Driver階段

相當于YARN集群的客戶端，用于提交我們整個程序到Y(jié)ARN集群，提交的是封裝了MapReduce程序相關(guān)運行參數(shù)的job對象。

• 獲取配置信息，獲取job對象實例。
• 指定本程序的jar包所在的本地路徑。
• 關(guān)聯(lián)Mapper/Reducer業(yè)務(wù)類。
• 指定Mapper輸出的ky類型。
• 指定最終輸出的數(shù)據(jù)的kv類型。
• 指定job的輸入原始文件所在的目錄。
• 指定job的輸出結(jié)果所在的目錄。
• 提交作業(yè)。