增量查詢模型(Incremental query model):Structured Streaming 將會在新增的流式數據上不斷執行增量查詢,同時代碼的寫法和批處理 API (基于 Dataframe 和 Dataset API)完全一樣,而且這些 API 非常的簡單。
支持端到端的引用(Support for end-to-end application): Structured Streaming 和內置的 connector 使的 end-to-end 程序寫起來非常的簡單,而且 "correct by default"。數據源和 sink 滿足 "exactly-once" 語義,這樣我們就可以在此基礎上更好地和外部系統集成
復用 Spark SQL 執行引擎:我們知道 Spark SQL 執行引擎做了非常多的優化工作,比如執行計劃優化、codegen、內存管理等。這也是 Structured Streaming 取得高性能和高吞吐的一個原因。
支持了基于事件時間(event time)的窗口操作,同時結合水位線(watermark)來處理延遲數據。
更多關于“大數據培訓”的問題,歡迎咨詢千鋒教育在線名師。千鋒教育多年辦學,課程大綱緊跟企業需求,更科學更嚴謹,每年培養泛IT人才近2萬人。不論你是零基礎還是想提升,都可以找到適合的班型,千鋒教育隨時歡迎你來試聽。