麻豆黑色丝袜jk制服福利网站-麻豆精品传媒视频观看-麻豆精品传媒一二三区在线视频-麻豆精选传媒4区2021-在线视频99-在线视频a

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  應聘面試  >  大數據面試題  > Yarn Job 提交流程(重點)

Yarn Job 提交流程(重點)

來源:千鋒教育
發布人:wjy
時間: 2022-09-02 15:36:17 1662104177

1. MR程序創建成功后,需要提交到HDFS上運行,MR程序提交到客戶端所在的節點。

2. YarnRunner向ResourceManager申請提交一個Application。

3. ResourceManager返回應用程序需要提交的資源路徑和ApplicationId。

4. YarnRunner提交資源到HDFS上,包含Job.xml、Job.split、xx.jar,資源提交完畢之后,向ResourceManager申請一個運行MRApplicationMaster,一個Application對應一個ApplicationMaster。

5. ResourceManager把提交的Job初始化成一個Task,放入Yarn的調度隊列中去。

Yarn Job 提交流程(重點)

6. 當執行到此Task時,其中一臺NodeManager領取此任務,然后在此NodeManager上創建一個Container并創建一個MRApplicationMaster,然后下載HDFS上的計算資源(Job.xml、Job.split、xx.jar)到此NodeManager上。

7. MRApplicationMaster向ResourceManager申請運行MapTask的資源,同時ResourceManager向另外兩臺NodeManager分配執行MapTask的任務,這兩臺NodeManager分別創建Container,然后MRApplicationMaster將啟動腳本發送給這兩臺NodeManager,啟動MapTask任務。

8. 當MapTask執行完畢之后,MRApplicationMaster向ResourceManager申請執行ReduceTask的資源,ResourceManager分配資源創建Container,Container下載xx.jar到此Container中,MRApplicationMaster啟動此任務。 

9. ReduceTask獲取MapTask分區數據,進行計算。

10. 當ReduceTask運行完畢之后,通知MRApplicationMaster,注銷ReduceTask的資源,MRApplicationMaster向ResourceManager申請注銷自己。

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
主站蜘蛛池模板: 女的和男的一起怼怼| 精品久久人人做人人爽综合 | 女人张腿让男桶免费视频大全 | 国产在线不卡免费播放| 午夜久| 里番库全彩本子彩色h琉璃| 久久国产免费观看精品3| 国产精品亚洲成在人线| 国产69精品久久久久777| www.夜夜操.com| 日本电影娼年| 好痛太长太深弄死我了视频| 麻豆伦理| 日韩大片观看网址| 精品女同一区二区三区免费站| 午夜视频在线观看国产| 久久久久夜夜夜精品国产| 国产亚洲美女精品久久久2020 | 免费视频日韩| 任你操在线观看| 国产精品成人va在线观看| 天天做天天摸天天爽天天爱| 日本一本高清| 国产成人精品一区二三区| 欧美高清不卡| 亚欧洲精品在线视频免费观看| 小帅男同志chinesecouple| 翁虹一级毛片手机观看| 国产日韩美国成人| www四虎在线高清| 在线免费h视频| 你看桌子上都是你流的| 国产精品亚洲精品日韩动图| 热久久最新视频| 久久综合资源| 波多野结衣1区| 日本漂亮继坶中文字幕| 久久久国产99久久国产久| 美国一级毛片免费看| 精品亚洲欧美无人区乱码| 99re热在线观看|