麻豆黑色丝袜jk制服福利网站-麻豆精品传媒视频观看-麻豆精品传媒一二三区在线视频-麻豆精选传媒4区2021-在线视频99-在线视频a

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  應聘面試  >  大數據面試題  > Flink反壓機制?

Flink反壓機制?

來源:千鋒教育
發布人:wjy
時間: 2022-09-02 16:59:16 1662109156

Flink 內部是基于producer-consumer模型來進行消息傳遞的,Flink的反壓設計也是基于這個模型。

Flink 使用了高效有界的分布式阻塞隊列,就像 Java 通用的阻塞隊列(BlockingQueue)一樣。

下游消費者消費變慢,上游就會受到阻塞。

Flink反壓機制?

- Flink 1.5 之前的版本并沒有對反壓做特別的處理,它利用buffer來暫存堆積的無法處理的數據,當 buffer 用滿了,則上游的流阻塞,不再發送數據。可見此時的反壓是從下游往上游傳播的,一直往上傳播到 Source Task 后,Source Task最終會降低或提升從外部Source 端讀取數據的速率。

這種機制有一個比較大的問題,在這樣的一個場景下:同一 Task的不同 SubTask 被安排到同一個 TaskManager,則SubTask與其他TaskManager 的網絡連接將被多路復用并共享一個 TCP信道以減少資源使用,所以某個 SubTask產生了反壓的話會把多路復用的TCP通道占住,從而會把其他復用同一 TCP信道的且沒有流量壓力的SubTask阻塞。

- Flink1.5版本之后的基于Credit反壓機制解決了上述問題。

這種機制主要是每次上游SubTask給下游SubTask發送數據時,會把Buffer中的數據和上游ResultSubPartition堆積的數據量Backlog size發給下游,下游會接收上游發來的數據,并向上游反饋目前下游現在的Credit值,Credit值表示目前下游可以接收上游的Buffer量,1個Buffer等價于1個Credit。

可見,這種策略上游向下游發送數據是按需發送的,而不是和之前一樣會在公用的Netty和TCP這一層數據堆積,避免了影響其他SubTask通信的問題。

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
主站蜘蛛池模板: 91呻吟丰满娇喘国产区| 女生张开腿让男生通| 欧美午夜精品久久久久免费视| 444kkk视频在线观看国产| 亚洲电影a| 国产免费拔擦拔擦8x| 健身私教干了好几次| 美女在线免费观看| 亚洲一级生活片| 妞干网视频| 波多结衣一区二区三区| 久久久久亚洲精品影视| 一女多男np疯狂伦交| 三级黄色录像片| 国产日韩视频一区| 自拍欧美亚洲| 性久久久久久久| 色偷偷成人网免费视频男人的天堂| 亚洲国产一区二区三区亚瑟| 樱花草在线社区www| 成年女人免费视频播放体验区| 国产女主播喷水视频在线观看| 调教在线视频| 小泽玛利亚番号| 日本加勒比在线精品视频| 菠萝蜜视频在线观看入口 | 韩国三级中文字幕| 三级毛片在线| 亚洲国产婷婷综合在线精品| 国产午夜视频在线观看| 香蕉视频在线观看免费国产婷婷| 女人扒开下面让男人桶爽视频| 啊轻点灬大ji巴黑人太粗| 品色堂永久免费| 性xxxxhd高清| 好男人在线社区www我在线观看| 国产乱码卡一卡2卡三卡四| 女人让男人直接桶| 欧美日韩国产一区二区三区欧| 成人精品一区二区三区中文字幕 | 在车子颠簸中进了老师的身体|