大數據的核心是云技術和BI。關于大數據和云計算的關系人們通常會有誤解,而且也會把它們混起來說,分別做一句話直白解釋就是:云計算就是硬件資源的虛擬化;大數據就是海量數據的高效處理。如果做一個更形象的解釋,云計算相當于我們的計算機和操作系統,將大量的硬件資源虛擬化之后再進行分配使用;大數據則相當于海量數據的“數據庫”。
整體來看,未來的趨勢是,云計算作為計算資源的底層,支撐著上層的大數據處理,而大數據的發展趨勢是,實時交互式的查詢效率和分析能力,當前的大數據處理一直在向著近似于傳統數據庫體驗的方向發展。
大數據的4V特性,即類型復雜,海量,快速和價值,其總體架構包括三層,數據存儲,數據處理和數據分析,三層的相互配合,讓大數據最終產生價值。
數據存儲層,從存儲層的搭建來說,關系型數據庫,NoSQL數據庫和hdfs分布式文件系統三種存儲方式都需要。從用戶來講并不關心底層存儲細節,只關心數據的存儲和讀取的方便性,通過共享數據存儲層可以實現在存儲上的應用和存儲基礎設置的徹底解耦。
數據處理層核心解決問題在于數據存儲出現分布式后帶來的數據處理上的復雜度,海量存儲后帶來了數據處理上的時效性要求,這些都是數據處理層要解決的問題。
數據分析層重點是真正挖掘大數據的價值所在,而價值的挖掘核心又在于數據分析和挖掘。那么數據分析層核心仍然在于傳統的BI分析的內容。包括數據的維度分析,數據的切片,數據的上鉆和下鉆,cube等。
由此可以看來大數據兩大核心為云技術和BI,離開云技術大數據沒有根基和落地可能,離開BI和價值,大數據又變化為舍本逐末,丟棄關鍵目標。簡單來說,就是大數據目標驅動是BI,大數據實施落地式云技術。
如果你想了解學習更多關于大數據的相關技術,那么不妨選擇千鋒大數據培訓進行系統專業的學習。