麻豆黑色丝袜jk制服福利网站-麻豆精品传媒视频观看-麻豆精品传媒一二三区在线视频-麻豆精选传媒4区2021-在线视频99-在线视频a

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  應聘面試  >  大數據面試題  > Yarn Job 提交流程(重點)

Yarn Job 提交流程(重點)

來源:千鋒教育
發布人:wjy
時間: 2022-09-02 15:36:17 1662104177

1. MR程序創建成功后,需要提交到HDFS上運行,MR程序提交到客戶端所在的節點。

2. YarnRunner向ResourceManager申請提交一個Application。

3. ResourceManager返回應用程序需要提交的資源路徑和ApplicationId。

4. YarnRunner提交資源到HDFS上,包含Job.xml、Job.split、xx.jar,資源提交完畢之后,向ResourceManager申請一個運行MRApplicationMaster,一個Application對應一個ApplicationMaster。

5. ResourceManager把提交的Job初始化成一個Task,放入Yarn的調度隊列中去。

Yarn Job 提交流程(重點)

6. 當執行到此Task時,其中一臺NodeManager領取此任務,然后在此NodeManager上創建一個Container并創建一個MRApplicationMaster,然后下載HDFS上的計算資源(Job.xml、Job.split、xx.jar)到此NodeManager上。

7. MRApplicationMaster向ResourceManager申請運行MapTask的資源,同時ResourceManager向另外兩臺NodeManager分配執行MapTask的任務,這兩臺NodeManager分別創建Container,然后MRApplicationMaster將啟動腳本發送給這兩臺NodeManager,啟動MapTask任務。

8. 當MapTask執行完畢之后,MRApplicationMaster向ResourceManager申請執行ReduceTask的資源,ResourceManager分配資源創建Container,Container下載xx.jar到此Container中,MRApplicationMaster啟動此任務。 

9. ReduceTask獲取MapTask分區數據,進行計算。

10. 當ReduceTask運行完畢之后,通知MRApplicationMaster,注銷ReduceTask的資源,MRApplicationMaster向ResourceManager申請注銷自己。

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
主站蜘蛛池模板: 久久久久久久综合色一本| 穿透明白衬衫喷奶水在线播放| 国产视频一区二区在线观看| 午夜爽| 免费大黄网站在线观看| 中文字幕亚洲一区二区va在线| 国产一级做a爰片久久毛片| 天天躁日日躁狠狠躁中文字幕| 国产高清免费在线观看| 紧扣的星星完整版免费观看| 美女被男人扒开腿猛视频| 一本大道高清香蕉中文大在线| 北条麻妃毛片在线视频| 里番库全彩本子彩色h可知子| 国产剧情丝袜在线观看| 国产精品va在线观看一| 国产真实伦在线观看| av天天看| 四虎最新地址在线观看1080p| 一个男的操一个女的| 午夜爽爽| 非洲一区二区三区不卡| 无翼日本全彩漫画大全全彩| 免费毛片在线视频| 国产69精品久久久久777| 丁香伊人| 亚洲成年人专区| 久久精品亚洲一区二区三区浴池| 能播放18xxx18女同| 福利片一区| 男人肌肌捅女人肌肌视频| 国产嫩草影院在线观看| 4ayy私人影院| 精品国产人成亚洲区| 女人扒开| 国产精品久久久久9999| 欧美日韩图片| 国产精品无码久久综合网| 四虎4hutv永久在线影院| 欧美丰满白嫩bbxx| 好大好紧视频|