麻豆黑色丝袜jk制服福利网站-麻豆精品传媒视频观看-麻豆精品传媒一二三区在线视频-麻豆精选传媒4区2021-在线视频99-在线视频a

千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)

手機(jī)站
千鋒教育

千鋒學(xué)習(xí)站 | 隨時隨地免費(fèi)學(xué)

千鋒教育

掃一掃進(jìn)入千鋒手機(jī)站

領(lǐng)取全套視頻
千鋒教育

關(guān)注千鋒學(xué)習(xí)站小程序
隨時隨地免費(fèi)學(xué)習(xí)課程

當(dāng)前位置:首頁  >  應(yīng)聘面試  >  大數(shù)據(jù)面試題  > 數(shù)據(jù)清洗問題你怎么看

數(shù)據(jù)清洗問題你怎么看

來源:千鋒教育
發(fā)布人:wjy
時間: 2022-09-02 15:32:03 1662103923

問題: ODS有的公司說幾乎不處理,有的說這一層要做第一次數(shù)據(jù)清洗,你怎么看?

討論一: 我感覺基本的監(jiān)控要做,然后字段類型,命名統(tǒng)一可以做,ip轉(zhuǎn)地址也可以做。復(fù)雜的 不太容易做,數(shù)據(jù)源的接入不一定都可控。

討論二: 看數(shù)據(jù)的規(guī)整性吧。有的公司業(yè)務(wù)方數(shù)據(jù)很規(guī)整。ODS層只用做簡單的砍字段即可,有的業(yè)務(wù)數(shù)據(jù)不規(guī)整比如埋點類的那么不做清洗就肯定不行了。有公司是從業(yè)務(wù)庫直接到ODS,那么需要做備份, 有的是從業(yè)務(wù)庫到匯總庫再到ODS。那么匯總庫就可以看作是備份了。

討論三: 個人覺得ODS層的數(shù)據(jù)還是需要清洗并存入到數(shù)據(jù)倉庫比較合適。如果不清洗,是ETL任務(wù)的計算資源和計算時間的浪費(fèi)。

數(shù)據(jù)清洗

除非是有特殊需要,規(guī)定要原汁原味的“原始數(shù)據(jù)”。

補(bǔ)充 這個問題,從本質(zhì)上來看,其實是和分層的設(shè)計以及公司的業(yè)務(wù)場景相關(guān)的。 先拋開公司的業(yè)務(wù)場景來看ODS的設(shè)計,我們其實是希望ODS的數(shù)據(jù)盡量“原汁原味”,但又相對干凈。

那么,這個尺度或者說標(biāo)準(zhǔn)怎么來把握?簡單來看,我們會讓ODS層的數(shù)據(jù)內(nèi)容和粒度與原始數(shù)據(jù)一致,然后我們會做表命名統(tǒng)一、字段命名統(tǒng)一、數(shù)據(jù)落地監(jiān)控等內(nèi)容。

然后對于數(shù)據(jù)清洗,居士個人建議是盡量少做清洗,如果在這一層做清洗,建議只在幾種情況下做清洗: 

1. 簡單的數(shù)據(jù)標(biāo)準(zhǔn)化,比如表和字段命名

2. 默認(rèn)值填充,比如性別為空的都補(bǔ)0

3. 清洗規(guī)則十分明確,比如說說字段拆解: 接收到的json數(shù)據(jù)拆成多個明確字段 其余情況下不是不能做清洗,而是說盡量少做清洗,因為一旦對原始數(shù)據(jù)稍作破壞,以后追查數(shù)據(jù)的成本會十分巨大。

當(dāng)我們明確ODS的職責(zé)后,再來看不同公司的ODS設(shè)計。如果說數(shù)據(jù)源很干凈,那么直接拿來就可以,基本不用處理。如果說數(shù)據(jù)源很混亂,而且清洗的規(guī)則十分明確,不會出現(xiàn)返工的情況,那么就可以在入ODS之前做一部分的清洗。

tags:
聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
10年以上業(yè)內(nèi)強(qiáng)師集結(jié),手把手帶你蛻變精英
請您保持通訊暢通,專屬學(xué)習(xí)老師24小時內(nèi)將與您1V1溝通
免費(fèi)領(lǐng)取
今日已有369人領(lǐng)取成功
劉同學(xué) 138****2860 剛剛成功領(lǐng)取
王同學(xué) 131****2015 剛剛成功領(lǐng)取
張同學(xué) 133****4652 剛剛成功領(lǐng)取
李同學(xué) 135****8607 剛剛成功領(lǐng)取
楊同學(xué) 132****5667 剛剛成功領(lǐng)取
岳同學(xué) 134****6652 剛剛成功領(lǐng)取
梁同學(xué) 157****2950 剛剛成功領(lǐng)取
劉同學(xué) 189****1015 剛剛成功領(lǐng)取
張同學(xué) 155****4678 剛剛成功領(lǐng)取
鄒同學(xué) 139****2907 剛剛成功領(lǐng)取
董同學(xué) 138****2867 剛剛成功領(lǐng)取
周同學(xué) 136****3602 剛剛成功領(lǐng)取
相關(guān)推薦HOT
快速通道
主站蜘蛛池模板: 波多野结衣护士无删减| 999国产精品999久久久久久| 喝乖女的奶水h1v| 成人久久精品一区二区三区| 亚洲福利精品一区二区三区| 免费国产不卡午夜福在线| 免费啪啪社区免费啪啪手机版| 韩国护士hd高清xxxx| 无遮挡动漫画在线观看| 国产一区二区在线视频| 717午夜伦伦电影理论片| 欧美日韩一区二区三区自拍| 国产乱子伦一区二区三区| 日韩午夜视频在线观看| 爱情岛亚洲论坛在线观看| 国产成人精品999在线观看| 日本大片免a费观看在线| 美女扒开尿口直播| 免费大片av手机看片| 国产丝袜制服在线| 看一级毛片| 无翼乌漫画全彩| 第四色最新网站| 老司机带带我懂得视频| 男女下面一进一出无遮挡se| 伊人丁香狠狠色综合久久 | 日本韩国在线视频| acg里番全彩侵犯本子福利| 色妞网| 神宫寺奈绪jul055在线播放| 嫩草影院在线视频| 中文字幕www| 国产伦子沙发午休| 免费啪啪社区免费啪啪手机版 | 琪琪色原网站在线观看| 干狠狠| 波多野结衣电影区一区二区三区| 渣男渣女抹胸渣男渣女| 国产欧美精品一区二区三区-老狼| 中文字幕ヘンリー冢本全集| 风流小姨子|