1.yarn有哪些調度
FIFO:單隊列 先進先出 小任務易阻塞
CAPACITY:多隊列 各隊列資源固定 小任務可同時運行,可彈性使用資源
每個隊列都可以設置最大值,不設置的話可用到整個父隊列的資源最大值(正好有空閑時);
FAIR:多隊列 各隊列資源\動態搶占** 小任務可同時運行
隊列創建時:除非隊列被準確的定義,否則會以用戶名為隊列名創建隊列
搶占就是允許調度器殺掉占用超過其應占份額資源隊列的containers,這些containers資源便可被分配到應該享有這些份額資源的隊列中。
默認調度器
Apache 開源:CAPACITY
CDH版本:FAIR
2.常用命令
yarn logs -applicationId application15391986545221073695 |more
2.1查看 Job 信息:
hadoop job -list
2.2殺掉 Job:
hadoop job –kill job_id
hadoop job –status job_id
更多關于大數據培訓的問題,歡迎咨詢千鋒教育在線名師。千鋒教育擁有多年IT培訓服務經驗,采用全程面授高品質、高體驗培養模式,擁有國內一體化教學管理及學員服務,助力更多學員實現高薪夢想。