Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。用戶可以在不了解分布式底層細節的情況下,開發分布式程序。充分利用集群的威力進行高速運算和存儲。而對于hadoop的學習是大數據學習中的重要一個環節,于是乎有很多人想要知道hadoop學習路線圖。下面,我們跟隨千鋒大數據培訓的老師來看看,千鋒大數據學員是怎么樣開始學習hadoop的。
大致的思路是:以安裝部署Apache Hadoop2.x版本為主線,來介紹Hadoop2.x的架構組成、各模塊協同工作原理、技術細節。安裝不是目的,通過安裝認識Hadoop才是目的。
第一:Linux環境安裝
Hadoop是運行在Linux,雖然借助工具也可以運行在Windows上,但是建議還是運行在Linux系統上,第一部分介紹Linux環境的安裝、配置、Java JDK安裝等。
第二:Hadoop本地模式安裝
Hadoop本地模式只是用于本地開發調試,或者快速安裝體驗Hadoop,這部分做簡單的介紹。
第三:Hadoop偽分布式模式安裝
學習Hadoop一般是在偽分布式模式下進行。這種模式是在一臺機器上各個進程上運行Hadoop的各個模塊,偽分布式的意思是雖然各個模塊是在各個進程上分開運行的,但是只是運行在一個操作系統上的,并不是真正的分布式。
第四:完全分布式安裝
完全分布式模式才是生產環境采用的模式,Hadoop運行在服務器集群上,生產環境一般都會做HA,以實現高可用。
第五:Hadoop HA安裝
HA是指高可用,為了解決Hadoop單點故障問題,生產環境一般都做HA部署。這部分介紹了如何配置Hadoop2.x的高可用,并簡單介紹了HA的工作原理。在安裝過程中,會穿插簡單介紹涉及到的知識。
環境搭建好后,然后嘗試編寫mapreduce進行打包運行。當你對hadoop應用編程層面沒有疑問的時候,可以嘗試去深入了解mapreduce的核心思想,尤其是map,shuffle,join,reduce等。
以上對于很多新手來說,入門會遇到很多問題,這是正常的現象,不過遇到問題不可怕,只要想辦法解決了自己的能力就會有所提高,如果你也想像千鋒大數據學員一樣掌握這樣的技術,那么不妨選擇到千鋒大數據培訓來學習。