麻豆黑色丝袜jk制服福利网站-麻豆精品传媒视频观看-麻豆精品传媒一二三区在线视频-麻豆精选传媒4区2021-在线视频99-在线视频a

千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機構(gòu)

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領(lǐng)取全套視頻
千鋒教育

關(guān)注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  應聘面試  >  大數(shù)據(jù)面試題  > 批次累加

批次累加

來源:千鋒教育
發(fā)布人:wjy
時間: 2022-09-02 15:35:53 1662104153

UpdataStateBykey updataStateBykey是特殊的reduceByKey, 相當于oldValue+reduceByKey(newValue1,newValue2),通過傳入一個updateFunc來實現(xiàn)批次間數(shù)據(jù)累加的操作。

實現(xiàn)它必須設置checkPoint路徑,updataStateBykey會自動將每次計算的結(jié)果持久化到磁盤,批次間的數(shù)據(jù)則是緩存在內(nèi)存中。

缺點:大量占用內(nèi)存,大量產(chǎn)生小文件 MapwithState mapwithState是spark1.6新增的累加操作,目前還在測試中,它的原理網(wǎng)上查不到,只知道是updataStateBykey的升級版,效率提升10倍。

缺點:資料不全,社區(qū)很小 不建議使用狀態(tài)流累加操作,建議用窗口+第三方存儲(redis)來達到同樣的效果。

Spark Streaming中的updateStateByKey和mapWithState的區(qū)別和使用。

UpdateStateByKey:統(tǒng)計全局的key的狀態(tài),但是就算沒有數(shù)據(jù)輸入,他也會在每一個批次的時候返回之前的key的狀態(tài)。

這樣的缺點就是,如果數(shù)據(jù)量太大的話,而且我們需要checkpoint數(shù)據(jù),這樣會占用較大的存儲。

如果要使用updateStateByKey,就需要設置一個checkpoint目錄(updateStateByKey自己是無法保存key的狀態(tài)的),開啟checkpoint機制。因為key的state是在內(nèi)存維護的,如果宕機,則重啟之后之前維護的狀態(tài)就沒有了,所以要長期保存它的話需要啟用checkpoint,以便恢復數(shù)據(jù)。 

MapWithState:也是用于全局統(tǒng)計key的狀態(tài),但是它如果沒有數(shù)據(jù)輸入,便不會返回之前的key的狀態(tài),有一點增量的感覺。

這樣做的好處是,我們可以只關(guān)心那些已經(jīng)發(fā)生變化的key,對于沒有數(shù)據(jù)輸入,則不會返回那些沒有變化的key的數(shù)據(jù)。

這樣即使數(shù)據(jù)量很大,checkpoint也不會像updateStateByKey那樣,占用太多的存儲。

批次累加

tags:
聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
10年以上業(yè)內(nèi)強師集結(jié),手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內(nèi)將與您1V1溝通
免費領(lǐng)取
今日已有369人領(lǐng)取成功
劉同學 138****2860 剛剛成功領(lǐng)取
王同學 131****2015 剛剛成功領(lǐng)取
張同學 133****4652 剛剛成功領(lǐng)取
李同學 135****8607 剛剛成功領(lǐng)取
楊同學 132****5667 剛剛成功領(lǐng)取
岳同學 134****6652 剛剛成功領(lǐng)取
梁同學 157****2950 剛剛成功領(lǐng)取
劉同學 189****1015 剛剛成功領(lǐng)取
張同學 155****4678 剛剛成功領(lǐng)取
鄒同學 139****2907 剛剛成功領(lǐng)取
董同學 138****2867 剛剛成功領(lǐng)取
周同學 136****3602 剛剛成功領(lǐng)取
相關(guān)推薦HOT
快速通道
主站蜘蛛池模板: 日本黄色片免费观看| 欧美巨大xxxx做受高清| 国产黄大片在线观看| 久久精品国产99精品国产2021| 特黄特色大片免费播放路01 | 999国产精品999久久久久久| 中文字幕国产在线观看| 老师让我她我爽了好久动漫| 岛国片免费在线观看| 日韩一区二区三区电影| 美女张开腿让男人桶爽动漫视频| 波多野结衣黑丝| 中文字幕在线最新在线不卡| 国产一区美女视频| 成年女人毛片| 久久无码精品一区二区三区 | 四虎影视在线影院4hutv| 欧美精品久久一区二区三区| 工囗番漫画全彩无遮拦老师| 日本口工h全彩漫画大全| 免费日b视频| 欧美一级免费在线观看| 台湾一级淫片高清视频| 国产a级特黄的片子视频| 国产麻豆剧果冻传媒一区| 极品校花yin乱合集| 丰满上司的美乳| 天天做天天摸天天爽天天爱| 三级一级片| 波多野结衣免费观看视频| 激情欧美日韩一区二区| 日本久久久久中文字幕| 中文字幕精品亚洲无线码二区| 久久国产精品一国产精品| 日本一道本| 久久久无码精品亚洲日韩按摩| 波多野结衣伦理视频| 好男人好资源在线| 精品欧美一区二区在线观看 | 福利一区二区在线| 人人爽人人爽人人片av|