🧹 Приберемся? Выбираем политику очистки топиков

Приберемся? Выбираем политику очистки топиков

На самом деле, чистятся не топики, а их кусочки: сегменты. По сути, это файлы, где последовательно хранятся сообщения топика. Запись ведётся только в один файл-сегмент. Когда со времени создания проходит столько секунд, сколько указано в segment.ms, или когда размер файла достигает segment.bytes, тогда этот файл закрывается и создаётся новый.

Очистка топиков происходит только для неактивных сегментов по настройке cleanup.policy.

Есть три вида настройки:

Delete Удаляет сегменты целиком после истечения retention.ms или превышения retention.bytes.

Compact Можно использовать только если есть несколько версий сообщений с одним ключом. При таком режиме kafka удаляет все записи с одинаковым ключом (кроме последней). При этом есть окно min.compaction.lag.ms, в течение которого все версии сообщений не удаляются.

Compact + delete Одновременно удаляет и целые сегменты, и чистит данные в неудаленных сегментах. Использует настройки для обоих вариантов.

Опробовать разные варианты cleanup.policy вы можете в моём kafka-тренажере.

@maximbelovmentor