網(wǎng)站建設(shè) 開發(fā)網(wǎng)站代碼百度網(wǎng)盤官網(wǎng)
1.YARN介紹
- 一個通用的資源管理系統(tǒng)和調(diào)度平臺
- YARN不分配磁盤,由HDFS分配
- 相當(dāng)于一個分布式的操作系統(tǒng)平臺,為上層MR等計算程序提供運算所需要的資源(內(nèi)存、CPU等)
2.YARN三大組件
- 不要忘記AppMaster,他是程序內(nèi)部的老大,監(jiān)督程序的運行,在MR鐘是MRAppMaster
3.程序提交YARN集群交互流程
4.資源調(diào)度器Scheduler和調(diào)度策略
- 在YARN中,負(fù)責(zé)給應(yīng)用分配資源的是Scheduler,它是RM的核心組件之一
5.容量調(diào)度與公平調(diào)度區(qū)別
- 都比FIFO好:**允許多隊列并行執(zhí)行任務(wù),**不會出現(xiàn)一個大任務(wù)一直搶占資源讓之后的任務(wù)一直等待
- 容量調(diào)度在每個隊列內(nèi)部使用FIFO策略,先到先服務(wù);公平調(diào)度按缺額排列,缺額大者優(yōu)先
- 容量調(diào)度每個隊列中同一時間只有會一個任務(wù)在執(zhí)行;而公平調(diào)度同一時間一個隊列中可能有多個任務(wù)