Kafka: Тестирование и эксплуатация в условиях ограниченных ресурсов

Целевая аудитория: разработчики, тестировщики, ops в системах с Kafka в основе.

В докладе пойдет речь о практиках, используемых для работы с Kafka. Вы услышите интересные случаи из тестирования и эксплуатации Kafka и приложений, которые взаимодействуют с ней.

Контур является одним из главных поставщиков решений для бизнеса в части предоставления налоговой отчетности, электронного документооборота, ведения бухгалтерии, систем ОФД, ЕГАИС и других решений B2B и B2G. Количество сервисов, приложений, транзакций огромно, и для них всех нужно собирать данные телеметрии — логи, метрики, трассировки, затем транспортировать и распределять их в соответствующие приложения для алертинга, хранения и последующего анализа.

Сергей и его команда разрабатывают транспорт для телеметрии сервисов и приложений с Kafka в основе. Система прокачивает на данном этапе 300 тысяч сообщений в секунду на небольшом кластере и этот объем продолжает расти.

Спикер хочет рассказать, как выживать в условиях дефицита серверов, какие проблемы и интересные случаи возникали, какие инструменты и приемы в Контур используют для тестирования Kafka и приложений, которые пишут или читают из Kafka, для мониторинга состояния кластера и т.д.

Комментарий программного комитета:

«У нас будет Kafka», — сказали архитекторы. Чем это грозит? На что обращать внимание при тестировании? Сергей расскажет о практическом опыте тестирования таких систем.