麻豆黑色丝袜jk制服福利网站-麻豆精品传媒视频观看-麻豆精品传媒一二三区在线视频-麻豆精选传媒4区2021-在线视频99-在线视频a

千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)

手機(jī)站
千鋒教育

千鋒學(xué)習(xí)站 | 隨時隨地免費學(xué)

千鋒教育

掃一掃進(jìn)入千鋒手機(jī)站

領(lǐng)取全套視頻
千鋒教育

關(guān)注千鋒學(xué)習(xí)站小程序
隨時隨地免費學(xué)習(xí)課程

當(dāng)前位置:首頁  >  技術(shù)干貨  > java培訓(xùn)教程分享:深度了解Kafka架構(gòu)知識

java培訓(xùn)教程分享:深度了解Kafka架構(gòu)知識

來源:千鋒教育
發(fā)布人:qyf
時間: 2022-04-11 17:34:00 1649669640

  想要學(xué)好java技術(shù),不是一天兩天的事情,因為java包含的技術(shù)知識點有很多,Kafka架構(gòu)就是其中一種,本期小編為大家介紹的java培訓(xùn)教程就是關(guān)于Kafka架構(gòu)的,學(xué)習(xí)了解Kafka數(shù)據(jù)處理、Kafka 核心組件、broker和集群、Consumer與topic關(guān)系、Kafka消息的分發(fā)、Consumer的負(fù)載均衡開發(fā)技術(shù)。

1

  java培訓(xùn)教程分享:深度了解Kafka架構(gòu)知識

  1. Kafka數(shù)據(jù)處理步驟

  1.1 Producer產(chǎn)生消息發(fā)送到Broker中;

  1.2 Leader狀態(tài)的Broker接收消息,寫入到相應(yīng)topic中;

  1.3 Leader狀態(tài)的Broker接收完畢以后,傳給Follow狀態(tài)的Broker作為副本備份;

  1.4 Consumer消費Broker中的消息。

  2. Kafka 核心組件

  2.1 Producer:消息生產(chǎn)者產(chǎn)生的消息將會被發(fā)送到某個topic;

  2.2 Consumer:消息消費者,消費的消息內(nèi)容來自某個topic;

  2.3 Topic:消息根據(jù)topic進(jìn)行歸類,topic其本質(zhì)是一個目錄,即將同一主題消息歸類到同一個目錄;

  2.4 Broker:每一個kafka實例(或者說每臺kafka服務(wù)器節(jié)點)就是一個broker,一個broker可以有多個topic;

  2.5 Zookeeper: Zookeeper集群不屬于kafka內(nèi)的組件,但kafka依賴 Zookeeper集群保存meta信息,所以在此做聲明其重要性。

  3. broker和集群

  一個獨立的Kafka服務(wù)器稱為broker,broker接收來自生產(chǎn)者的消息為消息設(shè)置偏移量并提交消息到磁盤保存。broker為消費者提供服務(wù),對讀取分區(qū)的請求作出響應(yīng),返回已經(jīng)提交到磁盤上的消息。根據(jù)特定的硬件及其性能特征,單個broker可以輕松處理數(shù)千個分區(qū)以及每秒百萬級的消息量。

  broker是集群的組成部分。每個集群都有一個broker同時充當(dāng)了集群控制器的角色(自動從集群的活躍成員中選舉出來)。控制器負(fù)責(zé)管理工作,包括將分區(qū)分配給broker和監(jiān)控broker。在集群中,一個分區(qū)從屬于一個broker,該broker被稱為分區(qū)的首領(lǐng)。一個分區(qū)可以分配多個broker,這個時候會發(fā)生分區(qū)復(fù)制。這種復(fù)制機(jī)制為分區(qū)提供了消息冗余,如果一個broker失效,其他broker可以接管領(lǐng)導(dǎo)權(quán)。不過,相關(guān)的消費者和生產(chǎn)者都要重新連接到新的首領(lǐng)。

  4. Consumer與topic關(guān)系

  kafka只支持Topic

  •每個group中可以有多個consumer,每個consumer屬于一個consumer group;通常情況下,一個group中會包含多個consumer,這樣不僅可以提高topic中消息的并發(fā)消費能力,而且還能提高”故障容錯”性,如果group中的某個consumer失效那么其消費的partitions將會由其它consumer自動接管。

  •對于Topic中的一條特定的消息,只會被訂閱此Topic的每個group中的其中一個consumer消費,此消息不會發(fā)送給一個group的多個consumer;那么一個group中所有的consumer將會交錯的消費整個Topic,每個group中consumer消息消費互相獨立,我們可以認(rèn)為一個group是一個”訂閱”者。

  •在kafka中,一個partition中的消息只會被group中的一個consumer消費(同一時刻);

  一個Topic中的每個partions,只會被一個”訂閱者”中的一個consumer消費,不過一個consumer可以同時消費多個partitions中的消息。

  •kafka的設(shè)計原理決定,對于一個topic,同一個group中不能有多于partitions個數(shù)的consumer同時消費,否則將意味著某些consumer將無法得到消息,而處于空閑狀態(tài)。

  kafka只能保證一個partition中的消息被某個consumer消費時是順序的;事實上,從Topic角度來說,當(dāng)有多個partitions時,消息仍不是全局有序的。

  5. Kafka消息的分發(fā)

  •Producer客戶端負(fù)責(zé)消息的分發(fā)

  •kafka集群中的任何一個broker都可以向producer提供metadata信息,這些metadata中包含”集群中存活的servers列表”、“partitions leader列表”等信息;

  •當(dāng)producer獲取到metadata信息之后, producer將會和Topic下所有partition leader保持socket連接;

  •消息由producer直接通過socket發(fā)送到broker,中間不會經(jīng)過任何”路由層”。事實上,消息被路由到哪個partition上由producer客戶端決定,比如可以采用”random””key-hash””輪詢”等。

  •如果一個topic中有多個partitions,那么在producer端實現(xiàn)”消息均衡分發(fā)”是必要的。

  •在producer端的配置文件中,開發(fā)者可以指定partition路由的方式。

  •Producer消息發(fā)送的應(yīng)答機(jī)制

  設(shè)置發(fā)送數(shù)據(jù)是否需要服務(wù)端的反饋,有三個值0,1,-1

  –0: producer不會等待broker發(fā)送ack

  –1: 當(dāng)leader接收到消息之后發(fā)送ack

  –-1: 當(dāng)所有的follower都同步消息成功后發(fā)送ack

  request.required.acks=0

  6. Consumer的負(fù)載均衡

  當(dāng)一個group中,有consumer加入或者離開時,會觸發(fā)partitions均衡.均衡的最終目的,是提升topic的并發(fā)消費能力,步驟如下:

  1.假如topic1,具有如下partitions: P0,P1,P2,P3

  2.加入group A 中,有如下consumer: C0,C1

  3.首先根據(jù)partition索引號對partitions排序: P0,P1,P2,P3

  4.根據(jù)consumer.id排序: C0,C1

  5.計算倍數(shù): M = [P0,P1,P2,P3].size / [C0,C1].size,本例值M=2(向上取整)

  6.然后依次分配partitions: C0 = [P0,P1],C1=[P2,P3],即Ci = [P(i * M),P((i + 1) * M -1)]

  關(guān)于Kafka架構(gòu)的知識,就是以上介紹的這么多了,千鋒教育Java培訓(xùn)教程內(nèi)容有很多,每一個階段都會仔細(xì)講解,千鋒教育java培訓(xùn)機(jī)構(gòu)歡迎每位想要學(xué)習(xí)java技術(shù)的學(xué)員來我們的java培訓(xùn)班學(xué)習(xí),大家也可以先點擊咨詢按鈕來獲取我們的java課程免費試聽資格,在試聽中可以更加深入的了解我們千鋒教育。

tags:
聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
10年以上業(yè)內(nèi)強(qiáng)師集結(jié),手把手帶你蛻變精英
請您保持通訊暢通,專屬學(xué)習(xí)老師24小時內(nèi)將與您1V1溝通
免費領(lǐng)取
今日已有369人領(lǐng)取成功
劉同學(xué) 138****2860 剛剛成功領(lǐng)取
王同學(xué) 131****2015 剛剛成功領(lǐng)取
張同學(xué) 133****4652 剛剛成功領(lǐng)取
李同學(xué) 135****8607 剛剛成功領(lǐng)取
楊同學(xué) 132****5667 剛剛成功領(lǐng)取
岳同學(xué) 134****6652 剛剛成功領(lǐng)取
梁同學(xué) 157****2950 剛剛成功領(lǐng)取
劉同學(xué) 189****1015 剛剛成功領(lǐng)取
張同學(xué) 155****4678 剛剛成功領(lǐng)取
鄒同學(xué) 139****2907 剛剛成功領(lǐng)取
董同學(xué) 138****2867 剛剛成功領(lǐng)取
周同學(xué) 136****3602 剛剛成功領(lǐng)取
相關(guān)推薦HOT
今日頭條展現(xiàn)量是什么?今日頭條展現(xiàn)量規(guī)則分析

目前頭條用戶會發(fā)現(xiàn)微頭條和問答新增了“展現(xiàn)量”指標(biāo)。那么這個今日頭條展現(xiàn)量是什么意思呢?如何提高呢?下面千鋒教育小編就和大家說...詳情>>

2023-09-19 09:15:47
我想直播帶貨去哪里找貨源一件代發(fā)

現(xiàn)在直播帶貨是一個非常火的行業(yè),越來越多的人進(jìn)入到這個圈子,但是,認(rèn)真地說,直播帶貨能不能賺到錢還是要看自己。雖然這一行業(yè)火,收入高,...詳情>>

2023-09-19 08:41:02
入駐短視頻mcn需要多少錢?有哪些費用?

眾所周知,現(xiàn)在短視頻成了很多人的自媒體創(chuàng)業(yè)道路之一,越來越多人喜歡在網(wǎng)上消遣時間,購物等。也有很多優(yōu)秀的博主去做出很多新的內(nèi)容,那么入...詳情>>

2023-09-19 08:12:47
短視頻帶貨應(yīng)該注冊什么公司?需要什么資料?

短視頻大家應(yīng)該都非常熟悉,現(xiàn)在很多人都喜歡在閑暇的時候刷短視頻,短視頻平臺也開始了直播帶貨,商家也都開始創(chuàng)業(yè)了,那么短視頻帶貨需要營業(yè)...詳情>>

2023-09-19 08:09:31
怎樣投抖加不花錢?別人能看出來嗎?

抖音一些視頻為了獲取更多點擊,一些博主機(jī)會投抖加。其實抖加的投放沒有絕對正確的方法,而不同賬號和視頻投放的策略都是不一樣的,不過一般情...詳情>>

2023-09-19 08:00:10
開班信息
北京校區(qū)
  • 北京校區(qū)
  • 大連校區(qū)
  • 廣州校區(qū)
  • 成都校區(qū)
  • 杭州校區(qū)
  • 長沙校區(qū)
  • 合肥校區(qū)
  • 南京校區(qū)
  • 上海校區(qū)
  • 深圳校區(qū)
  • 武漢校區(qū)
  • 鄭州校區(qū)
  • 西安校區(qū)
  • 青島校區(qū)
  • 重慶校區(qū)
  • 太原校區(qū)
  • 沈陽校區(qū)
  • 南昌校區(qū)
  • 哈爾濱校區(qū)
主站蜘蛛池模板: 特大巨黑吊aw在线播放| 成人试看120秒体验区| 蜜桃99| 韩国公和熄三级在线观看| 国产呦系列免费| 伊人久久精品一区二区三区| 四虎精品在线视频| 波多野结衣教师中文字幕| 香蕉视频在线观看免费国产婷婷| 一本到不卡| 欧美性乱| 日本艳鉧动漫1~6全集在线播放| 老鸭窝二区三区在线播放| 波多野结衣在线女教师| 天天躁日日躁狠狠躁| 淫术の馆在动漫在线播放| 韩国伦理片久久电影网| 男朋友想吻我腿中间部位| loveme枫と铃樱花动漫| 亚洲区小说区激情区图片区 | 男生插入女生下面视频| 91亚洲自偷手机在线观看| 亚洲国产成人久久综合一区| 中文字幕国语对白在线电影| 换妻换上隐| 亚洲精品动漫在线| 宝宝才三根手指头就湿成这样| 国产一级特黄高清免费下载| 美女又黄又免费的视频| 国产成人综合欧美精品久久| 快一点使劲c我在线观看| 蜜臀91精品国产高清在线观看| 玉蒲团电影| 牛牛在线精品免费视频观看| 日韩福利影院| 俺去ye| 国产自产2023最新麻豆| 亚洲码欧美码一区二区三区| 亚洲欧美自拍一区| 国产乱子伦在线观看| 夜夜揉揉日日人人视频|