Connaitre les topics et partitions et leurs consommation :

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --all-groups

Consumer group 'my-group' has no active members.

GROUP           TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
my-group        numtest         0          281             281             0               -               -               -
my-group        numtest         1          234             234             0               -               -               -
my-group        numtest         2          2270            2270            0               -               -               -

Si je lance un consumer, voici ce qui se passe :

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --all-groups

GROUP           TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                             HOST            CLIENT-ID
my-group        numtest         0          281             281             0               kafka-python-1.4.6-6c083338-43ec-4911-9bc8-86a1b8031806 /192.168.1.90   kafka-python-1.4.6
my-group        numtest         1          234             234             0               kafka-python-1.4.6-6c083338-43ec-4911-9bc8-86a1b8031806 /192.168.1.90   kafka-python-1.4.6
my-group        numtest         2          2270            2270            0               kafka-python-1.4.6-6c083338-43ec-4911-9bc8-86a1b8031806 /192.168.1.90   kafka-python-1.4.6

Avec les informations suivantes :

  • CURRENT-OFFSET : l'offset du dernier message lu
  • LOG-END-OFFSET : l'offset du dernier message reçu
  • LAG : le delta entre LOG-END et CURRENT

bref, cette commande nous permet de voir si des messages ont été postés et/ou consommés et aussi si il y'a des consommateurs actuellement actifs.