99久久久精品免费观看国产,紧身短裙女教师波多野,正在播放暮町ゆう子在线观看,欧美激情综合色综合啪啪五月

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  應聘面試  >  大數據面試題  > Flink Spark on Yarn分布式日志收集問題

Flink Spark on Yarn分布式日志收集問題

來源:千鋒教育
發布人:wjy
時間: 2022-09-02 15:42:00 1662104520

對于Flink,Spark在Yarn上提交的LongTime Job(比如一個批處理作業要運行幾個小時或者本身就是實時作業),其作業的運行日志我們不能等到作業結束后,通過Yarn日志聚合后查看,我們希望作業提交后就能夠馬上看到運行日志( 這里注意,你的作業被調度到集群的各個計算節點中,比如你的集群有100個節點,你的作業可能被調度到幾十個個節點中),如何能夠實時方面的查看所有節點產生的日志呢?

# 總體思路,無論是spark,flink 都使用log4j記錄日志,只不過默認輸出是Console和文件,我們通過定義 log4j文件,將日志實時發送到一個位置,集中管理 

* 方案1: 定義log4j KafkaAppender, 將日志異步發送到Kafka,之后可以將數據發送到ES,通過Kibana查看即可 

* 方案2: 定義log4j SyslogAppender,將日志發送到rsyslog服務器(基于UDP傳輸,更高效),所有節點日志可以落到本地文件,這樣可以在這里通過文件查看日志,當然也可以接上ELK這一套。 

# 方案1比方案2要重一些,因為你需要Kafka集群,而rsyslog非常輕量,并且數據通過UDP協議傳輸更為高效。

Flink Spark on Yarn分布式日志收集問題

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
主站蜘蛛池模板: 久久青青草原精品影院| 国产亚洲欧美精品久久久| 四虎最新地址在线观看1080p | 国产男女爽爽爽免费视频| 波多野结衣欲| 国内精品久久久久久不卡影院| 大尺度无遮挡h彩漫| 一个色综合高清在线观看| 无翼乌口工| 正在播放国产美人| 果冻传媒国产仙踪林欢迎你| 久久天天躁夜夜躁狠狠85台湾 | 国产成人精品免费直播| 色哟哟精品视频在线观看| 好吊妞免费视频| 调教在线观看| 最近免费最新高清中文字幕韩国 | 国产三级免费观看| 好爽好多水小荡货护士视频| 菠萝蜜视频入口| 日本高清不卡免费| 成人深夜影院| 男女一边做一边爽免费视频| 天天干天天干天天干| 免费在线一区| 最新在线中文字幕| 精品久久久久国产免费| 野花视频在线观看免费观看最新 | 故意打开双腿让翁公看| 在线观看中文字幕码2023| 美女在线免费观看| 特黄一级大片| 国产一区二区三区久久精品| 国产深夜福利在线观看网站| 日韩欧美在线观看视频| 看看镜子里我怎么玩你| 草莓视频污污在线观看| 8av国产精品爽爽ⅴa在线观看| 黄瓜视频在线观看| 四虎4hutv永久在线影院| 日本道在线播放|