Pour maintenir vos logs dans Elasticsearch, Elastic à développé un outil qui s'appelle curator

Installation

pip install curator

Configuration

Créer un fichier ~/.curator/curator.yml contenant :

client:
  hosts:
    - localhost
  port: 9200
  url_prefix:
  use_ssl: False
  certificate:
  client_cert:
  client_key:
  ssl_no_validate: False
  http_auth:
  timeout: 100
  master_only: False
logging:
  loglevel: INFO
  logfile:
  logformat: default
  blacklist: [‘elasticsearch’]

Paramêtrage d'une action

Voici une action delete.yml qui supprime tout les index logstash-* de plus de 7 jours :

actions:
 
  1:
    action: delete_indices
    description: >-
      Delete indices older than 7 days (based on index name).
    options:
      ignore_empty_list: True
      timeout_override:
      continue_if_exception: False
      disable_action: False
    filters:
    - filtertype: pattern
      kind: prefix
      value: logstash-
    - filtertype: age
      source: name
      direction: older
      timestring: '%Y.%m.%d'
      unit_count: 7
      unit: days

Cette action s'utilise comme suit :

curator delete.yml --dry-un
curator delete.yml