對于Flink，Spark在Yarn上提交的LongTime Job(比如一個批處理作業要運行幾個小時或者本身就是實時作業)，其作業的運行日志我們不能等到作業結束后，通過Yarn日志聚合后查看，我們希望作業提交后就能夠馬上看到運行日志(這里注意，你的作業被調度到集群的各個計算節點中，比如你的集群有100個節點，你的作業可能被調度到幾十個個節點中)，如何能夠實時方面的查看所有節點產生的日志呢？

　　# 總體思路，無論是spark，flink 都使用log4j記錄日志，只不過默認輸出是Console和文件，我們通過定義 log4j 文件，將日志實時發送到一個位置，集中管理。

　　* 方案1： 定義log4j KafkaAppender，將日志異步發送到Kafka，之后可以將數據發送到ES,通過Kibana查看即可

　　* 方案2： 定義log4j SyslogAppender，將日志發送到rsyslog服務器(基于UDP傳輸，更高效)，所有節點日志可以落到本地文件，這樣可以在這里通過文件查看日志，當然也可以接上ELK這一套。

　　# 方案1比方案2要重一些，因為你需要Kafka集群，而rsyslog非常輕量，并且數據通過UDP協議傳輸更為高效。

　　更多關于大數據培訓的問題，歡迎咨詢千鋒教育在線名師，如果想要了解我們的師資、課程、項目實操的話可以點擊咨詢課程顧問，獲取試聽資格來試聽我們的課程，在線零距離接觸千鋒教育大咖名師，讓你輕松從入門到精通。