學習大數據是比較復雜的,涉及到很多技術層面的知識。大數據技術學什么課程總體來說可以分為三大階段:離線數倉階段、實時倉庫階段和實踐項目階段。每一個階段需要掌握的能力、技術點以及勝任的職位將在下文中為大家詳細闡述。
第一階段:離線數倉(7周)
1.掌握能力
掌握企業級基建環境部署、Hive和Spark數據開發、數據倉庫搭建、數據抽取、數據清洗、數據轉換、數據加載、數據應用和京東離線ETL。
2.技術點
Java、MySQL、Maven、Git、OpenResty、Linux、Shell、HDFS、YARN、Zookeeper、MapReduce、Scala、Python、SparkCore、Hive、SparkSQL、Presto、Sqoop、DataX、Flume、CDH、數倉架構、維度建模、SuperSet、Azkaban、Airflow等。掌握企業級基建環境部署、Hive和Spark數據開發、數據倉庫搭建、數據抽取、數據清洗、數據轉換、數據加載、數據應用和京東離線ETL。
3.勝任職位
離線數據工程師、數據倉庫工程師、ETL工程師、數據采集工程師、數據支持工程師、BI商業分析師、數據可視化工程師、Hadoop工程師、Spark工程師。
第二階段:實時倉庫(5周)
1.掌握能力
掌握流數據接入、基于Flink實時數據開發、流批一體數據倉庫開發、數據湖開發、實時ETL、實時監控系統和京東實時數據開發。
2.技術點
Kafka、Structured Streaming、Hudi、Canal、Flink、ClickHouse、HBase、Phoenix、Elasticsearch、Redis。
3.勝任職位
實時工程師、Flink工程師、實時數據倉庫工程師、實時ETL工程師、Spark工程師。
第三階段:實時倉庫(4周)
1.掌握能力
掌握企業項目開發流程、用戶畫像開發、企業級推薦系統開發、數據治理、基于生產環境項目部署和京東項目性能調優。
2.技術點
數據采集與監控平臺、準實時數據倉庫、用戶畫像、推薦系統、基于Flink的實時數據倉庫、元數據管理與數據治理。
3.勝任職位
數據服務工程師、離線數據倉庫開發工程師、BI商業分析師、實時數據倉庫工程師、實時監控系統工程師、ETL工程師、數據可視化工程師、數據治理工程師、高級數據開發工程師、推薦工程、數據平臺工程師、數據架構師。
以上就是大數據技術學什么課程的解答,千鋒設有大數據人才共建班,千鋒好程序員大數據+數據智能,與京東云大廠合作共建大數據技術領域的實戰型前瞻深度課程。對大廠熱門技術及項目進行系統、深度的研發和建設,形成獨特的教研壁壘。如果你想了解大數據培訓課程,歡迎咨詢千鋒教育!