麻豆黑色丝袜jk制服福利网站-麻豆精品传媒视频观看-麻豆精品传媒一二三区在线视频-麻豆精选传媒4区2021-在线视频99-在线视频a

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  技術干貨  > 大數據面試題:經典面試題答疑(九)

大數據面試題:經典面試題答疑(九)

來源:千鋒教育
發布人:syq
時間: 2022-06-09 10:24:00 1654741440

  1.Flink的重啟策略

  答案:固定延遲重啟策略(默認)

wpsjPJxxq

  失敗率重啟策略

  在一定時間內重啟一定次數,超過這個次數則重啟失敗。

wpsy8e1fi

  **代碼設置:**

  ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

  // 3為最大失敗次數;5min為測量的故障時間;10s為2次間的延遲時間

  env.setRestartStrategy(RestartStrategies.failureRateRestart(3,Time.of(5, TimeUnit.MINUTES),Time.of(10, TimeUnit.SECONDS)));

  無重啟策略

  無重啟,作業直接失敗

  2.checkpoint過程(Chandy-Lamport,分布式快照)

  答案:

  1)JobManager端的 CheckPointCoordinator向 所有SourceTask發送CheckPointTrigger,Source Task會在數據流中安插CheckPoint barrier

  2)當task收到所有的barrier后,向自己的下游繼續傳遞barrier,然后自身執行快照,并將自己的狀態異步寫入到持久化存儲中。增量CheckPoint只是把最新的一部分更新寫入到 外部存儲;為了下游盡快做CheckPoint,所以會先發送barrier到下游,自身再同步進行快照

  3)當task完成備份后,會將備份數據的地址(state handle)通知給JobManager的CheckPointCoordinator;如果CheckPoint的持續時長超過 了CheckPoint設定的超時時間,CheckPointCoordinator 還沒有收集完所有的 State Handle,CheckPointCoordinator就會認為本次CheckPoint失敗,會把這次CheckPoint產生的所有 狀態數據全部刪除。

  4)最后 CheckPoint Coordinator 會把整個 StateHandle 封裝成 completed CheckPoint Meta,寫入到hdfs。

  3.什么是barrier對齊?

4

  答案:一旦Operator從輸入流接收到CheckPoint barrier n,它就不能處理來自該流的任何數據記錄,直到它從其他所有輸入接收到barrier n為止。否則,它會混合屬于快照n的記錄和屬于快照n + 1的記錄;

  接收到barriern的流暫時被擱置。從這些流接收的記錄不會被處理,而是放入輸入緩沖區。

  雖然數字流對應的barrier已經到達了,但是barrier之后的1、2、3這些數據只能放到buffer中,等待字母流的barrier到達;

  一旦最后所有輸入流都接收到barrier n,CheckPoint barrier n接著往下游發送,Operator就會把緩沖區中pending 的輸出數據發出去

  這里還會對自身進行快照;之后,Operator將繼續處理來自所有輸入流的記錄,在處理來自流的記錄之前先處理來自輸入緩沖區的記錄。

  更多關于“大數據培訓”的問題,歡迎咨詢千鋒教育在線名師。千鋒教育多年辦學,課程大綱緊跟企業需求,更科學更嚴謹,每年培養泛IT人才近2萬人。不論你是零基礎還是想提升,都可以找到適合的班型,千鋒教育隨時歡迎你來試聽。

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
主站蜘蛛池模板: 日韩一区二区三区精品| 最好看的最新中文字幕2018免费视频| 美女扒开胸罩| 国产专区中文字幕| 中文字幕免费在线观看动作大片| 亚洲另类小说图片| 日韩三级黄色| 再深点灬舒服灬太大了老板| 伊在人亚洲香蕉精品区| 美女被暴羞羞免费视频| 美女脱了内裤打开腿让人桶网站o| 蜜桃成熟时3d国语| 免费看黄色a级片| 天堂mv免费mv在线mv观看| 最新中文字幕在线播放| 国产又爽又黄又舒服又刺激视频| 88国产精品欧美一区二区三区| 色吊丝中文字幕| 麻豆三级视频| 第一福利官方导航| 国产破处在线| 波多野结衣四虎| 亚洲天堂五月天| 美女扒开粉嫩尿口的漫画| 亚洲人成7777影视在线观看| 啊灬啊灬啊灬快灬深用力| 蜜桃成熟时33d在线| 2022国产麻豆剧果冻传媒影视| 女人张开腿等男人桶免费视频| 亚洲欧洲日产国产最新| 中文精品久久久久国产网站| 大伊香蕉精品一区视频在线 | 亚洲视频免费播放| 免费va欧美在线观看| 里番肉片h排行榜| 男朋友想吻我腿中间部位| 午夜精品久久久久久久99热| 黄色一级电视| 国产国语对白露脸| 最近最新好看的中文字幕2019| 精品国产污污免费网站|