在千鋒大數據培訓學習至今,已經有了比較基本的思維框架,大數據主要是通過對數據流進行數據處理,然后進行數據監控協調,在生活中最基礎的的實例,例如電商推薦系統:基于海量的瀏覽行為、購物行為數據,進行大量的算法模型的運算,得出各類推薦結論,以供電商網站頁面來為用戶進行商品推薦。精準廣告推送系統:基于海量的互聯網用戶的各類數據,統計分析,進行用戶畫像(得到用戶的各種屬性標簽), 然后可以為廣告主進行有針對性的精準的廣告投放。公司網站的運營情況分析:用戶的數量的統計、用戶活躍程度分析、新增用戶、續費用戶等等的分析。國家安全網:每個人每天的互聯網行為都記錄在案。這些都是大數據的具體應用,可想而知,在這個互聯網時代,數據的意義非同凡響。
目前,我已在千鋒大數據培訓兩個月的學習,已經學至Hadoop階段。Hadoop是一種可靠的,可擴展的分布式計算開發軟件。Hadoop的軟件庫是一個框架,它允許使用簡單的編程模型跨計算機集群分布式處理海量數據。
Hadoop的模塊可大致分為cluster,mapreduce,hdfs,yarn。mapreduce是一種分布式運算的框架,可以幫助我們來實現一些分布式運算,對數據進行分析和處理。ddfs的作用是在存儲文件對大型文件進行切塊,保存在服務器中的不同節點,然后當我們需要的時候來找到這些文件。搭建Hadoop的集群的時候要注意環境變量配置,著重的注意不要出現空格,中文,特殊符號。甚至連存儲路徑也盡量存放在全英文的路徑下,盡可能的不要因為這些事情犯錯。
總而言之,學習大數據的路還有很長,而目前自己掌握的技術還不夠全面,所以在接下來的學習中要更加努力讓自己逐步強大起來!
相關文章
了解千鋒動態
關注千鋒教育服務號
掃一掃快速進入
千鋒移動端頁面
掃碼匿名提建議
直達CEO信箱