理解窗口的兩個關鍵概念，窗口長度(window length)和滑動間隔(slide interval)。 窗口函數會把原始 DStream 的若干批次的數據合并成為一個新的帶窗口的DStream。其中窗口長度即每次生成新 DStream 需合并的原始 DStream 個數。滑動間隔即合并的原始 DStream 的時間間隔。

　　window

　　根據窗口長度和窗口移動速率合并原始DStream 生成新 DStream。

　　每 2 秒生成一個窗口長度為 5 秒的 Dstream val windowedDstream = dstream.countByWindow(Seconds( 5 ), Seconds( 2))

　　countByWindow

　　返回指定長度窗口中的元素個數

　　每 2 秒統計一次近 5 秒長度時間窗口的 DStream 中元素的個數

　　val windowedDstream = dstream.countByWindow(Seconds( 5 ), Seconds( 2))

　　reduceByWindow(func, windowLength, slideInterval)

　　對設定窗口的 DStream 做 reduce 操作，類似 RDD 的 reduce 操作，只是增加了時間窗口維度。

　　每 2 秒合并一次近 5 秒長度時間窗口的 DStream 中元素用“-”分隔

　　val windowedDstream = dstream.reduceByWindow(_ + "-" + _, Seconds( 5 ), Seconds( 2))

　　reduceByKeyAndWindow(func, windowLength, slideInterval, [numTasks])

　　根據 Key 和 Window 來做 Reduce 聚合操作，在上述 reduceByWindow 的基礎上增加了 Key 維度，func 是相同 Key 的 value 值的聚合操作函數。數據源的 DStream 中的元素格式必須為 (k, v) 形式，windowLength 和 slideInterval同樣是用于確定一個窗口 Dstream 作為數據源。numTasks 是一個可選的并發數參數。

　　每 2 秒根據 Key 聚合一次窗口長度為 5 的 DStream 中元素，下例中聚合的方式為 value 相加。

　　val windowedDstream = pairsDstream.reduceByKeyAndWindow((a:Int , b:Int) => (a + b) , Seconds(5) , Seconds( 2 ))

　　reduceByKeyAndWindow(func, invFunc, windowLength, slideInterval, [numTasks])

　　這個方法比上一個多傳入一個函數 invFunc。func 是 value 值的聚合操作函數，在數據流入的時候執行這個操作。invFunc 是在數據流出窗口的范圍后執行的操作。

　　每 2 秒根據 Key 聚合一次窗口長度為 5 的 DStream 中元素，聚合的方式為 value 相加。

　　invFunc：假設 invFunc 的參數如下例為 a 和 b，那么 a 是上個 window 經過 func 操作后的結果，b 為此次 window 與上次 window 在時間上交叉的元素經過 func 操作后結果。

　　val windowedDstream = pairsDstream.reduceByKeyAndWindow((a: Int, b:Int ) => (a + b) , (a:Int, b: Int) => (a - b) , Seconds(5) , Seconds( 2 ))

　　countByValueAndWindow(windowLength, slideInterval, [numTasks])

　　統計時間窗口中元素值相同的元素個數，類似于 RDD 的 countByValue 操作，在這個基礎上增加了時間窗口維度。同樣，數據源的 DStream 中的元素格式必須為 (k, v) 形式，返回的 DStream 格式為 (K, Long)。

　　每 2 秒根據 Key 聚合一次窗口長度為 5 的 DStream 中元素，下例中聚合的方式為 value 相加 val windowedDstream = pairsDstream.countByValueAndWindow(Seconds( 5 ), Seconds( 2))

　　更多關于前端培訓的問題，歡迎咨詢千鋒教育在線名師。千鋒教育擁有多年IT培訓服務經驗，采用全程面授高品質、高體驗培養模式，擁有國內一體化教學管理及學員服務，助力更多學員實現高薪夢想。