Нотатки сісадміна AWS Fluentd how to exclude some logs

Fluentd how to exclude some logs

Fluentd how to exclude some logs

Зіткнувся з ситцією і питанням на новому проекті – Fluentd how to exclude some logs, що Fluentd налаштовано за замовченням (default configuration) – що пересилає геть усі логи до OpenSearch, це створювало додаткове зайве навантаження

Після деякого аналізу з’ясувалось що до логів потрапляє занадто багато “шлаку”, тобто того – що ніким не аналізується і не цікавить, наприклад записи стосовно kubernetes-external-secrets, для вирішення цього питання мені прийшлось винести конфіг Fluentd в окрему конфігурацію та вимкнути конфігурацію за замовченням. Маючи певний конфігурацію – на базі якого terraform генерував шаблон, зробив зміни у тому шаблоні, а саме додав відключення default configs:

Після цього додав дефолтні конфіги зі своїми правками через extraConfigMaps:

Щоб зробити exclude для певних записів, потрібно використовувати плагін фільтрації grep, який має у своєму арсеналі параметр exclude

 

Ми створили фільтр, до якого під’єднали плагін grep, далі через конструкцію об’єднання <and></and> додав два правила, які знаходять в логах поле kubernetes.container_name зі значенням kubernetes-external-secrets та в цьому ж повідомленні перевіряють що stream=stdout ця конструкція говорить Fluentd що не потрібно ці логи відправляти та обробляти.

Важливо зазначити, що неможна використовувати два рази один і той самий key, бо це буде викликати конфлікт конфігурації.

 

Click to rate this post!
[Total: 1 Average: 5]

Leave a Reply

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *

Related Post

registry.terraform.io/hashicorp/cloudflare

registry registry.terraform.io does not have a provider named registry.terraform.io/hashicorp/cloudflareregistry registry.terraform.io does not have a provider named registry.terraform.io/hashicorp/cloudflare

Зіткнувся з проблемою, задав провайдера cloudflare в конфігуції terraform, але після запуску terraform init отримав помилку пошуку провайдера за адресою registry.terraform.io/hashicorp/cloudflare: Click to rate this post! [Total: 1 Average: 5]