Я прочитал всю теорию по кафке, но она никак...

Я прочитал всю теорию по кафке, но она никак не может уложиться в единую картинку. Наверное, надо развернуть кластер и попробовать настроить своими руками...

Это один из самых частых запросов на моей практике. Чтобы вам не нужно было заморачиваться с настройкой кластера kafka, я сделал максимально подробный интерактивный тренажёр для системных аналитиков

Как пользоваться? Зайти на сайт https://kafka.sa-cheat.ru/ Выбрать настройки топиков: сколько партиций, сколько у них копий, сколько серверов kafka поднято, как удаляются старые записи Настроить режим работы: как часто отправляются сообщения, как продюсер выбирает партицию, ждёт ли он подтверждения отправки (а если ждёт - то сколько), использует ли транзакции защиту от повторов Настроить вычитку: сколько читателей, соблюдается ли порядок сообщений, насколько долго они обрабатываются, как происходит ребалансировка и т.д. Выбрать настройки надежности: как часто приходят битые сообщения, какое отставание и как система справляется с этими проблемами.

Вуаля Вы великолепны. Можно включать поток сообщений (нижнее меню) и смотреть, как выбранная конфигурация справляется с нагрузкой.

Будет полезно и джуну, и архитектору: Прочувствовать, как реально работает кафка. Без DevOps-заморочек Перестать гадать с конфигурациями и обоснованно выбрать лучшую Находить сложные кейсы и просить перетестировать их на реальном нагрузочном стенде Быстро воспроизводить уже существующие проблемы.

Kafka одна тема из десятков тем, которые разбираем на 1-1 менторстве: на сентябрь будет 2 места, подробности тут

@maximbelovmentor