hadoop可以解決什么問題?Hadoop用處主要有兩方面,其一是把單機(jī)的工作任務(wù)拆分,將之變?yōu)閰f(xié)同工作的集群;其二是可以用來(lái)解決逐漸增加的文件存儲(chǔ)量和數(shù)據(jù)量瓶頸,對(duì)大數(shù)據(jù)存儲(chǔ)HDFS有高容錯(cuò)性的特點(diǎn)。
一、把單機(jī)工作任務(wù)拆分,變?yōu)閰f(xié)同工作集群
資源管理、調(diào)度和分配Apache Hadoop YARN,這是一個(gè)通用的資源管理系統(tǒng)和調(diào)度平臺(tái),可以給上層應(yīng)用來(lái)提供一個(gè)統(tǒng)一的資源管理和調(diào)度。
二、解決日益增加的文件存儲(chǔ)量和數(shù)據(jù)量瓶頸
它能夠提供高吞吐量來(lái)訪問數(shù)據(jù)。比較適用于一些有超大數(shù)據(jù)集的應(yīng)用程序,是由多臺(tái)運(yùn)行著DataNode的機(jī)器組成和1臺(tái)運(yùn)行NameNode進(jìn)程一起構(gòu)成。每個(gè)DataNode管理一部分?jǐn)?shù)據(jù),然后NameNode負(fù)責(zé)管理整個(gè)HDFS集群信息。
Hadoop其實(shí)有著很多的優(yōu)點(diǎn),就比如它的高可靠性、高擴(kuò)展性、時(shí)效性、高容錯(cuò)性、低成本。
Hadoop的按位存儲(chǔ)和處理數(shù)據(jù)是很可靠的,而且在計(jì)算機(jī)集簇間分配數(shù)據(jù)且完成計(jì)算任務(wù),這些集簇能擴(kuò)展到數(shù)千個(gè)節(jié)點(diǎn)中。Hadoop還能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本,并將失敗的任務(wù)自動(dòng)重新分配。滿足上面這些優(yōu)勢(shì)意外,Hadoop的成本又比較低且Hadoop是開源的。
hadoop可以解決什么問題就介紹到這,Hadoop不僅功能用途不錯(cuò),而且成本更低,學(xué)習(xí)大數(shù)據(jù)一定要掌握好Hadoop。