所有events,增加頭,類似json格式里的"headers":{" key":" value"} 時間戳（頭部插入時間戳）、主機（頭部插入主機名和IP）、靜態(tài)（頭部插入指定KV）、正則過濾（留下符合條件的）、自定義 攔截器作用 1）ETL攔截器：輕度清洗，過濾出Json格式不完整的數(shù)據(jù) 2）時間攔截器：提取日志時間作為分區(qū)的依據(jù)，避免零點漂移問題 自定義攔截器步驟 1）實現(xiàn)Interceptor 2）重寫方法 （1）initialize初始化方法 （2）public Event intercept(Event event) 處理單個Event （3）public List intercept(List events) 處理多個Event，在這個方法中調(diào)用Event intercept(Event event) （4）close方法 3）靜態(tài)內(nèi)部類，實現(xiàn)Interceptor.Builder 4）打包，上傳至flume/lib目錄下 5）在配置文件中關聯(lián)：全類名 + $builder 攔截器可以不用嗎？ 可以不用，在hive的dwd層或sparkStream中處理即可，也可以用，但會影響性能，不推薦用在實時性高的場景
京公網(wǎng)安備 11010802030320號