Kafka : suivre les consommateurs
Par pepin le mercredi, septembre 4 2019, 09:50 - Kafka - Lien permanent
Connaitre les topics et partitions et leurs consommation :
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --all-groups
Consumer group 'my-group' has no active members. GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID my-group numtest 0 281 281 0 - - - my-group numtest 1 234 234 0 - - - my-group numtest 2 2270 2270 0 - - -
Si je lance un consumer, voici ce qui se passe :
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --all-groups
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID my-group numtest 0 281 281 0 kafka-python-1.4.6-6c083338-43ec-4911-9bc8-86a1b8031806 /192.168.1.90 kafka-python-1.4.6 my-group numtest 1 234 234 0 kafka-python-1.4.6-6c083338-43ec-4911-9bc8-86a1b8031806 /192.168.1.90 kafka-python-1.4.6 my-group numtest 2 2270 2270 0 kafka-python-1.4.6-6c083338-43ec-4911-9bc8-86a1b8031806 /192.168.1.90 kafka-python-1.4.6
Avec les informations suivantes :
- CURRENT-OFFSET : l'offset du dernier message lu
- LOG-END-OFFSET : l'offset du dernier message reçu
- LAG : le delta entre LOG-END et CURRENT
bref, cette commande nous permet de voir si des messages ont été postés et/ou consommés et aussi si il y'a des consommateurs actuellement actifs.