數(shù)據(jù)倉(cāng)庫(kù)是大數(shù)據(jù)技術(shù)應(yīng)用的重要體現(xiàn)方式之一，數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)架構(gòu)主要分為STG、ODS、DWD、DWS、ADS和DIM共6個(gè)層次，數(shù)據(jù)從底層開(kāi)始，向上層進(jìn)行傳遞、轉(zhuǎn)換、重組等操作，可以理解為，根據(jù)數(shù)據(jù)分析業(yè)務(wù)的需要，對(duì)原有的OLAP多維數(shù)據(jù)，進(jìn)行維度和指標(biāo)的重新組合。層次的具體描述如下：

　　STG原始數(shù)據(jù)層：用來(lái)表示原始數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)的落地，數(shù)據(jù)結(jié)構(gòu)和原始系統(tǒng)發(fā)送上來(lái)的保持一致。

　　ODS數(shù)據(jù)操作層：用于原始數(shù)據(jù)在數(shù)據(jù)平臺(tái)的落地。數(shù)據(jù)從數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)之間的邏輯關(guān)系上都與原始數(shù)據(jù)層基本保持一致。在源數(shù)據(jù)裝入這一層時(shí)，要進(jìn)行諸如業(yè)務(wù)字段提取或去掉不用字段、臟數(shù)據(jù)處理等等。在實(shí)際中不一定會(huì)同時(shí)創(chuàng)建STG和ODS,因?yàn)閮蓚€(gè)層差異不大,更多的是創(chuàng)建ODS層.

　　DWD數(shù)據(jù)明細(xì)層：用于源系統(tǒng)數(shù)據(jù)在數(shù)據(jù)平臺(tái)中的永久存儲(chǔ)。它用以支撐DWS層和ADS層無(wú)法覆蓋的需求，比如像用戶購(gòu)買(mǎi)詳單類(lèi)業(yè)務(wù)需求。這一層主要解決一些數(shù)據(jù)質(zhì)量問(wèn)題和數(shù)據(jù)的完整度問(wèn)題。

　　DWS數(shù)據(jù)服務(wù)層：數(shù)據(jù)匯總層，該層會(huì)在DWD層的數(shù)據(jù)基礎(chǔ)上。對(duì)數(shù)據(jù)做輕度的聚合操作，生成一系列的中間表，提升公共指標(biāo)的復(fù)用性，減少重復(fù)加工。按照業(yè)務(wù)劃分，如流量、產(chǎn)品、用戶等，生成字段比較多的寬表，用于提供后續(xù)的業(yè)務(wù)查詢，OLAP分析，數(shù)據(jù)分發(fā)等。

　　ADS應(yīng)用數(shù)據(jù)層：該層存放數(shù)據(jù)產(chǎn)品個(gè)性化的統(tǒng)計(jì)指標(biāo)數(shù)據(jù)，一般以某個(gè)業(yè)務(wù)應(yīng)用為出發(fā)點(diǎn)進(jìn)行建設(shè)，ADS層只關(guān)心自己需要的數(shù)據(jù)，不會(huì)全盤(pán)考慮企業(yè)整體的數(shù)據(jù)架構(gòu)和應(yīng)用。面向?qū)嶋H的業(yè)務(wù)數(shù)據(jù)需求，以DWD或者DWS層的數(shù)據(jù)為基礎(chǔ)，組成各種統(tǒng)計(jì)報(bào)表。

　　DIM維度層：主要存儲(chǔ)公共的屬性數(shù)據(jù)，比如產(chǎn)品類(lèi)別、地理位置、時(shí)間詳情等信息。綜上所述，數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的主要工作，就是對(duì)原始業(yè)務(wù)數(shù)據(jù)進(jìn)行匯聚，進(jìn)行分層次的數(shù)據(jù)處理，生成業(yè)務(wù)需要的數(shù)據(jù)，提供給前端業(yè)務(wù)使用。

　　更多關(guān)于大數(shù)據(jù)培訓(xùn)的問(wèn)題，歡迎咨詢千鋒教育在線名師，如果想要了解我們的師資、課程、項(xiàng)目實(shí)操的話可以點(diǎn)擊咨詢課程顧問(wèn)，獲取試聽(tīng)資格來(lái)試聽(tīng)我們的課程，在線零距離接觸千鋒教育大咖名師，讓你輕松從入門(mén)到精通。