Apache Kafka

Apache Kafka est une plateforme open source distribuée de diffusion d’événements. Elle ingère, stocke et traite des flux d’enregistrements à haut débit répartis entre des topics, ce qui alimente la messagerie, l’agrégation de journaux et les pipelines de données en temps réel. Kafka moderne fonctionne en mode KRaft et n’a donc plus besoin d’un cluster ZooKeeper distinct.

Logiciels inclus

Composant	Version
Apache Kafka	4.3.1
OpenJDK	21 (JRE)
Ubuntu	24.04 LTS

Démarrage

1. Se connecter à votre VM

ssh ubuntu@<your-vm-ip>

2. Attendre la configuration du premier démarrage

Au premier démarrage, un script de configuration règle advertised.listeners, formate le stockage KRaft et démarre Kafka. Suivez la progression :

journalctl -u kafka-first-boot.service -f

Le message de connexion (MOTD) confirme que Kafka est prêt.

3. Vérifier qu’Apache Kafka fonctionne

systemctl status kafka

Répertoriez les topics disponibles pour vérifier le broker :

sudo -u kafka /opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server localhost:9092 --list

4. Se connecter au broker

Le serveur d’amorçage écoute sur :

<your-vm-ip>:9092

Vous pouvez consulter les instructions de connexion écrites au premier démarrage :

sudo cat /root/.credentials/kafka.txt

Gérer Apache Kafka

# Check service status
systemctl status kafka

# Restart
sudo systemctl restart kafka

# View logs
sudo journalctl -u kafka -f

Chemin	Fonction
`/opt/kafka/config/server.properties`	Configuration du broker et KRaft
`/opt/kafka/data/`	Données Kafka

Sécurité

Le port 9092 est accessible sur l’interface réseau de la VM. UFW est activé et n’autorise par défaut que SSH (port 22).

Pour autoriser l’accès au broker depuis une adresse IP précise :

sudo ufw allow from <trusted-ip> to any port 9092

L’adresse de l’écouteur annoncé est générée à partir de l’adresse IP locale de la VM au premier démarrage. Pour vous connecter sans ouvrir le pare-feu, faites pointer l’écouteur annoncé vers localhost sur la VM, redémarrez Kafka, puis ouvrez un tunnel SSH :

# On the VM: advertise localhost instead of the VM's IP, then restart Kafka
sudo sed -i 's|^advertised.listeners=.*|advertised.listeners=PLAINTEXT://localhost:9092|' /opt/kafka/config/server.properties
sudo systemctl restart kafka

# Run this on your local machine
ssh -L 9092:localhost:9092 ubuntu@<your-vm-ip>

Kafka utilise un transport en texte clair sans authentification dans cette image à nœud unique. Configurez l’authentification et des écouteurs chiffrés avant de l’utiliser pour des charges de travail en production, et limitez le port 9092 aux clients de confiance.