在當今的互聯網和大數據時代，消息隊列架構成為了許多企業關注的焦點。比如，千億日活的短視頻應用——抖音，它的消息隊列就是使用Kafka來完成的。Kafka作為一種高性能、高可靠性的消息中間件，為許多企業提供了很好的解決方案。在本文中，我們將帶領您一步一步在CentOS 7上搭建Kafka集群，讓您更好地了解Kafka的使用和應用。
一、準備工作
在開始之前，我們需要提前準備好一些工作：
1. 一臺安裝了CentOS 7的機器，并開啟了網絡連接。
2. JDK環境，Kafka需要JDK 1.8及以上版本，因此我們需要先安裝JDK環境。
3. ZooKeeper，Kafka依賴于ZooKeeper，因此我們需要先安裝好ZooKeeper。
二、安裝JDK環境
我們可以從Oracle官網上下載JDK，這里我使用的是openjdk-8-jdk版本。在終端中輸入以下命令進行安裝：
sudo yum install -y java-1.8.0-openjdk-devel然后，我們可以使用以下命令檢查是否正確安裝了JDK環境：
java -version如果顯示以下內容，則說明JDK環境已經安裝成功：
openjdk version "1.8.0_232"OpenJDK Runtime Environment (build 1.8.0_232-b09)OpenJDK 64-Bit Server VM (build 25.232-b09, mixed mode)三、安裝ZooKeeper
在安裝ZooKeeper之前，我們需要為其創建一個用戶，并授權：
sudo useradd zookeeper -m -s /bin/bashsudo passwd zookeepersudo chown -R zookeeper:zookeeper /usr/local/zookeeper接下來，我們可以從官網上下載ZooKeeper，這里我使用的是ZooKeeper 3.4.14版本。在終端中輸入以下命令進行安裝：
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gztar -zxvf zookeeper-3.4.14.tar.gzsudo mv zookeeper-3.4.14/ /usr/local/zookeeper然后，我們需要創建ZooKeeper的配置文件：
sudo cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg現在，我們可以啟動ZooKeeper了：
sudo /usr/local/zookeeper/bin/zkServer.sh start可以使用以下命令檢查是否正確啟動了ZooKeeper：
sudo /usr/local/zookeeper/bin/zkServer.sh status如果顯示以下內容，則說明ZooKeeper已經啟動成功：
Mode: standalone四、安裝Kafka
在安裝Kafka之前，我們需要為其創建一個用戶，并授權：
sudo useradd kafka -m -s /bin/bashsudo passwd kafkasudo chown -R kafka:kafka /usr/local/kafka接下來，我們可以從官網上下載Kafka，這里我使用的是Kafka 2.4.1版本。在終端中輸入以下命令進行安裝：
wget http://mirror.bit.edu.cn/apache/kafka/2.4.1/kafka_2.12-2.4.1.tgztar -zxvf kafka_2.12-2.4.1.tgzsudo mv kafka_2.12-2.4.1/ /usr/local/kafka然后，我們需要創建Kafka的配置文件：
sudo cp /usr/local/kafka/config/server.properties /usr/local/kafka/config/server-1.propertiessudo cp /usr/local/kafka/config/server.properties /usr/local/kafka/config/server-2.properties現在，我們可以啟動Kafka了。在終端中輸入以下命令啟動Kafka：
sudo /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server-1.propertiessudo /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server-2.properties可以使用以下命令檢查是否正確啟動了Kafka：
sudo /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server-1.propertiessudo /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server-2.properties如果顯示以下內容，則說明Kafka已經啟動成功：
[2020-03-05 22:10:26,773] INFO Kafka version: 2.4.1 (org.apache.kafka.common.utils.AppInfoParser:109)[2020-03-05 22:10:26,774] INFO Kafka commitId: c57222ae8cd7866b (org.apache.kafka.common.utils.AppInfoParser:110)[2020-03-05 22:10:26,781] INFO [KafkaServer id=1] started (kafka.server.KafkaServer:58)五、創建主題和分區
在Kafka中，主題是消息的類別，可以將其理解為一個消息隊列。分區是一個物理概念，可以將一個主題分成多個分區，每個分區保存著一部分消息，因此可以分別在不同的節點上存儲數據，提高了消息的并發處理能力。在本文中，我們將為Kafka創建一個名為test的主題，并將其分成3個分區。在終端中輸入以下命令：
sudo /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic test然后，我們可以使用以下命令查看創建的主題信息：
sudo /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test如果顯示以下內容，則說明主題和分區已經成功創建：
Topic:test PartitionCount:3 ReplicationFactor:2 Configs: Topic: test Partition: 0 Leader: 1 Replicas: 1,2 Isr: 1,2 Topic: test Partition: 1 Leader: 2 Replicas: 2,1 Isr: 2,1 Topic: test Partition: 2 Leader: 1 Replicas: 2,1 Isr: 1,2六、發送和接收消息
現在，我們已經成功創建了一個名為test的主題，并將其分成了3個分區。接下來，讓我們來發送和接收一些消息。在終端中輸入以下命令：
1. 啟動一個Kafka生產者：
sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test此時，終端會進入等待消息輸入的狀態。
2. 啟動一個Kafka消費者：
sudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning此時，終端會輸出已經發送的消息。
3. 在生產者終端中輸入一些消息，比如：
hello kafka!4. 在消費者終端中，會輸出剛才發送的消息：
hello kafka!至此，我們已經成功地在CentOS 7上搭建了Kafka集群，并成功地發送和接收了一些消息。Kafka作為一種高性能、高可靠性的消息中間件，為許多企業提供了很好的解決方案。通過本文的學習，相信讀者已經對Kafka的使用和應用有了更好的了解。
以上就是IT培訓機構千鋒教育提供的相關內容，如果您有web前端培訓，鴻蒙開發培訓，python培訓，linux培訓，java培訓，UI設計培訓等需求，歡迎隨時聯系千鋒教育。
京公網安備 11010802030320號