Хаос-тестирование — от идеи до практического внедрения

Каждый из вас так или иначе сталкивался с недоступностью или сбоями внутренних/внешних зависимостей (например, неожиданное поведение системы в условиях таймаутов сторонних или внутренних сервисов), которые довольно сильно портили жизнь командам. В Т-Банке мы задались вопросом: что мы можем сделать, чтобы предотвращать такие ситуации до их попадания на прод, и как можно искать проблемы уже в существующем коде? В качестве решения мы решили использовать хаос-тестирование — практику, позволяющую заранее выявлять уязвимости в архитектуре, поведении сервисов, искусственно внося неисправности в работающую систему.

Поговорим о ходе разработки инструмента, как мы его используем в повседневных задачах и интегрируем в работу команд, делая его частью SDLC, и какие есть особенности тестирования хаосом на тесте и продакшене.

Сделаем большой упор на практическую часть: расскажем о технической реализации инструмента, как, когда и при каких условиях стоит внедрять к себе хаос-тестирование, продемонстрируем примеры реальных проблем, найденных инструментом, и покажем, каких результатов добились.