對于計劃要學習大數據技術的學習者來說,可能大部分的人對大數據崗位技能要求并不了解,他們只知道大數據發展前景好、就業薪水高外,其他就一概不知了,下面就給大家介紹一下
那么大數據工程師需要具備哪些能力?
一、技術能力要求:
1、 掌握至少一種數據庫開發技術:Oracle、Teradata、DB2、Mysql等,靈活運用SQL實現海量數據ETL加工處理。
2、 熟悉Linux系統常規shell處理命令,靈活運用shell做的文本處理和系統操作。
3、 有從事分布式數據存儲與計算平臺應用開發經驗,熟悉Hadoop生態相關技術并有相關實踐經驗著優先,重點考察Hdfs、Mapreduce、Hive、Hbase。
4、 熟練掌握一門或多門編程語言,并有大型項目建設經驗者優先,重點考察Java、Python、Perl
5、 熟悉數據倉庫領域知識和技能者優先,包括但不局限于:元數據管理、數據開發測試工具與方法、數據質量、主數據管理。
6、 掌握實時流計算技術,有storm開發經驗者優先。
二、綜合素質能力要求:
1、大數據工程師并不要求你有多高的學歷,多好的履歷,完全看個人能力,是不是跟該公司的需求
相匹配,即使是高中生,也可以受到博士生般的尊重和優厚待遇。阿里巴巴集團研究員薛某強調,學歷
并不是最主要的因素,能有大規模處理數據的經驗并且有喜歡在數據海洋中尋寶的好奇心會更適合這個
工作。如果說你在某一行業領域有很深的研究,例如汽車、金融等,那么將對你的工作有很大的幫助。
2、要求大數據工程師有強大的邏輯分析能力。一個公司的大數據會有很多,方方面面的數據都有可能被拿到手,但是哪些是關系到公司發展的關鍵性數據,哪些是無關緊要的,需要大數據工程師有一定的分析能力,并不斷對此優化。
3、大數據工程師的工作跟其他技術部門和非技術部門都不是脫節的,需要跟同事、領導進行不間斷的溝通,來調整自己的工作。假如大數據工程師溝通能力太差,工作將開展地非常不順。
4、大數據工程師需要很強的學習能力。人只要具備很強的學習能力,才能在很短的時間內來適應自己的角色,也可以勝任很多個職位。這樣來說的大數據工程師無疑才是最為成功的。
5、大數據工程師要具有很強的計算機編碼能力。作為大數據工程師的一些必備因素就是實際開發能力和大規模的數據處理能力。現在社交網絡上的無意義信息太多,這就需要我們大數據工程師來親自挖掘,找出里邊最有用的東西。當然有些公司的大數據工程師是以商業分析為主的,但是計算機處理大數據的方式也是必備的技能。