大數據的使用范圍很廣,學習范圍也同樣很廣,我們平時用到的淘寶、抖音、健康寶都需要用到大數據,甚至有人說,大數據比你更了解你自己。從這一點來看,大數據是一種偉大的技術。想要轉行,大數據開發學習路線如何規劃?小編以千鋒的大數據培訓課程為例為大家介紹。
第一階段:離線數倉(7周)
1.掌握能力
掌握企業級基建環境部署、Hive和Spark數據開發、數據倉庫搭建、數據抽取、數據清洗、數據轉換、數據加載、數據應用和京東離線ETL。
2.技術點
Java、MySQL、Maven、Git、OpenResty、Linux、Shell、HDFS、YARN、Zookeeper、MapReduce、Scala、Python、SparkCore、Hive、SparkSQL、Presto、Sqoop、DataX、Flume、CDH、數倉架構、維度建模、SuperSet、Azkaban、Airflow等。掌握企業級基建環境部署、Hive和Spark數據開發、數據倉庫搭建、數據抽取、數據清洗、數據轉換、數據加載、數據應用和京東離線ETL。
3.項目
數據服務、大數據可視化、企業級Hadoop基建項目部署、分布式網絡爬蟲、基于Spark的大數據分析項目、ETL項目之Hive和SparkSQL、BI商業分析等。
第二階段:實時倉庫(5周)
1.掌握能力
掌握流數據接入、基于Flink實時數據開發、流批一體數據倉庫開發、數據湖開發、實時ETL、實時監控系統和京東實時數據開發。
2.技術點
Kafka、Structured Streaming、Hudi、Canal、Flink、ClickHouse、HBase、Phoenix、Elasticsearch、Redis。
3.項目
實時監控系統、基于Flink的實時數據開發、實時數據湖、大數據搜索系統。
第三階段:實時倉庫(4周)
1.掌握能力
掌握企業項目開發流程、用戶畫像開發、企業級推薦系統開發、數據治理、基于生產環境項目部署和京東項目性能調優。
2.技術點
數據采集與監控平臺、準實時數據倉庫、用戶畫像、推薦系統、基于Flink的實時數據倉庫、元數據管理與數據治理。
3.勝任職位
數據服務工程師、離線數據倉庫開發工程師、BI商業分析師、實時數據倉庫工程師、實時監控系統工程師、ETL工程師、數據可視化工程師、數據治理工程師、高級數據開發工程師、推薦工程、數據平臺工程師、數據架構師。
以上就是大叔與開發學習路線,但大家不要盲目地學習,大數據雖然是一門當前很火熱的技術,但通過上面的學習路線就能看出,學好大數據并不容易,我們最好先系統了解大數據,去培訓機構參加試聽課,如果能適應能接受,再決定學習也不晚。千鋒教育歡迎你隨時來咨詢大數據培訓課程!