Нотатки сісадміна AWS Fluentd how to exclude some logs

Fluentd how to exclude some logs

Fluentd how to exclude some logs

Зіткнувся з ситцією і питанням на новому проекті – Fluentd how to exclude some logs, що Fluentd налаштовано за замовченням (default configuration) – що пересилає геть усі логи до OpenSearch, це створювало додаткове зайве навантаження

Після деякого аналізу з’ясувалось що до логів потрапляє занадто багато “шлаку”, тобто того – що ніким не аналізується і не цікавить, наприклад записи стосовно kubernetes-external-secrets, для вирішення цього питання мені прийшлось винести конфіг Fluentd в окрему конфігурацію та вимкнути конфігурацію за замовченням. Маючи певний конфігурацію – на базі якого terraform генерував шаблон, зробив зміни у тому шаблоні, а саме додав відключення default configs:

Після цього додав дефолтні конфіги зі своїми правками через extraConfigMaps:

Щоб зробити exclude для певних записів, потрібно використовувати плагін фільтрації grep, який має у своєму арсеналі параметр exclude

 

Ми створили фільтр, до якого під’єднали плагін grep, далі через конструкцію об’єднання <and></and> додав два правила, які знаходять в логах поле kubernetes.container_name зі значенням kubernetes-external-secrets та в цьому ж повідомленні перевіряють що stream=stdout ця конструкція говорить Fluentd що не потрібно ці логи відправляти та обробляти.

Важливо зазначити, що неможна використовувати два рази один і той самий key, бо це буде викликати конфлікт конфігурації.

 

Click to rate this post!
[Total: 1 Average: 5]

Залиште відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *

Related Post

Multi-Attach error for volume

Multi-Attach error for volume “pvc-XXX” Volume is already exclusively attached to one node and can’t be attached to anotherMulti-Attach error for volume “pvc-XXX” Volume is already exclusively attached to one node and can’t be attached to another

На цей час не знаю як перманентно полагодити цю проблему, але позиційне рішення просте Click to rate this post! [Total: 1 Average: 5] Схожі записи: Resize EBS volume in AWS