想要學好java技術，不是一天兩天的事情，因為java包含的技術知識點有很多，Kafka架構就是其中一種，本期小編為大家介紹的java培訓教程就是關于Kafka架構的，學習了解Kafka數據處理、Kafka 核心組件、broker和集群、Consumer與topic關系、Kafka消息的分發、Consumer的負載均衡開發技術。

　　java培訓教程分享：深度了解Kafka架構知識

　　1. Kafka數據處理步驟

　　1.1 Producer產生消息發送到Broker中;

　　1.2 Leader狀態的Broker接收消息，寫入到相應topic中;

　　1.3 Leader狀態的Broker接收完畢以后，傳給Follow狀態的Broker作為副本備份;

　　1.4 Consumer消費Broker中的消息。

　　2. Kafka 核心組件

　　2.1 Producer：消息生產者產生的消息將會被發送到某個topic;

　　2.2 Consumer：消息消費者，消費的消息內容來自某個topic;

　　2.3 Topic：消息根據topic進行歸類，topic其本質是一個目錄，即將同一主題消息歸類到同一個目錄;

　　2.4 Broker：每一個kafka實例(或者說每臺kafka服務器節點)就是一個broker，一個broker可以有多個topic;

　　2.5 Zookeeper： Zookeeper集群不屬于kafka內的組件，但kafka依賴 Zookeeper集群保存meta信息，所以在此做聲明其重要性。

　　3. broker和集群

　　一個獨立的Kafka服務器稱為broker，broker接收來自生產者的消息為消息設置偏移量并提交消息到磁盤保存。broker為消費者提供服務，對讀取分區的請求作出響應，返回已經提交到磁盤上的消息。根據特定的硬件及其性能特征，單個broker可以輕松處理數千個分區以及每秒百萬級的消息量。

　　broker是集群的組成部分。每個集群都有一個broker同時充當了集群控制器的角色(自動從集群的活躍成員中選舉出來)。控制器負責管理工作，包括將分區分配給broker和監控broker。在集群中，一個分區從屬于一個broker，該broker被稱為分區的首領。一個分區可以分配多個broker，這個時候會發生分區復制。這種復制機制為分區提供了消息冗余，如果一個broker失效，其他broker可以接管領導權。不過，相關的消費者和生產者都要重新連接到新的首領。

　　4. Consumer與topic關系

　　kafka只支持Topic

　　•每個group中可以有多個consumer，每個consumer屬于一個consumer group;通常情況下，一個group中會包含多個consumer，這樣不僅可以提高topic中消息的并發消費能力，而且還能提高”故障容錯”性，如果group中的某個consumer失效那么其消費的partitions將會由其它consumer自動接管。

　　•對于Topic中的一條特定的消息，只會被訂閱此Topic的每個group中的其中一個consumer消費，此消息不會發送給一個group的多個consumer;那么一個group中所有的consumer將會交錯的消費整個Topic，每個group中consumer消息消費互相獨立，我們可以認為一個group是一個”訂閱”者。

　　•在kafka中,一個partition中的消息只會被group中的一個consumer消費(同一時刻);

　　一個Topic中的每個partions，只會被一個”訂閱者”中的一個consumer消費，不過一個consumer可以同時消費多個partitions中的消息。

　　•kafka的設計原理決定,對于一個topic，同一個group中不能有多于partitions個數的consumer同時消費，否則將意味著某些consumer將無法得到消息，而處于空閑狀態。

　　kafka只能保證一個partition中的消息被某個consumer消費時是順序的;事實上，從Topic角度來說,當有多個partitions時,消息仍不是全局有序的。

　　5. Kafka消息的分發

　　•Producer客戶端負責消息的分發

　　•kafka集群中的任何一個broker都可以向producer提供metadata信息,這些metadata中包含”集群中存活的servers列表”、“partitions leader列表”等信息;

　　•當producer獲取到metadata信息之后, producer將會和Topic下所有partition leader保持socket連接;

　　•消息由producer直接通過socket發送到broker，中間不會經過任何”路由層”。事實上，消息被路由到哪個partition上由producer客戶端決定，比如可以采用”random””key-hash””輪詢”等。

　　•如果一個topic中有多個partitions,那么在producer端實現”消息均衡分發”是必要的。

　　•在producer端的配置文件中,開發者可以指定partition路由的方式。

　　•Producer消息發送的應答機制

　　設置發送數據是否需要服務端的反饋,有三個值0,1,-1

　　–0: producer不會等待broker發送ack

　　–1: 當leader接收到消息之后發送ack

　　–-1: 當所有的follower都同步消息成功后發送ack

　　request.required.acks=0

　　6. Consumer的負載均衡

　　當一個group中,有consumer加入或者離開時,會觸發partitions均衡.均衡的最終目的,是提升topic的并發消費能力，步驟如下：

　　1.假如topic1,具有如下partitions: P0,P1,P2,P3

　　2.加入group A 中,有如下consumer: C0,C1

　　3.首先根據partition索引號對partitions排序: P0,P1,P2,P3

　　4.根據consumer.id排序: C0,C1

　　5.計算倍數: M = [P0,P1,P2,P3].size / [C0,C1].size,本例值M=2(向上取整)

　　6.然后依次分配partitions: C0 = [P0,P1],C1=[P2,P3],即Ci = [P(i * M),P((i + 1) * M -1)]

　　關于Kafka架構的知識，就是以上介紹的這么多了，千鋒教育Java培訓教程內容有很多，每一個階段都會仔細講解，千鋒教育java培訓機構歡迎每位想要學習java技術的學員來我們的java培訓班學習，大家也可以先點擊咨詢按鈕來獲取我們的java課程免費試聽資格，在試聽中可以更加深入的了解我們千鋒教育。