Проблемы и решения при тестировании тяжелого энтерпрайза

Кейс автоматизации тестирования и успешной борьбы с сопутствующими автоматизации проблемами: скорость тестов, стабильность тестов и организационные проблемы. Данный доклад будет полезен как аудитории, которая только приступает к автоматизации процесса тестирования, так и достаточно опытным специалистам, а также тем, кто экспериментирует с новыми подходами.

Тестирование очень крупного проекта никогда не бывает простым. Этому способствуют несколько факторов:

• Специфика: тесты в цифровом банке для бизнеса сложные. Там работают не с задачами вроде корректности заполнения поля, а со сложными и зачастую длинными бизнес-кейсами, например, заполнение платежного поручения.
• Объем: тестов много, изменений, на которых нужно запускать тесты тоже много.
• Анализ: огромное количество отчетов и тестовых результатов усложняет анализ проблемных тестов.
• Структура: команд, пишущих тесты, также много и они разбросаны по разным подразделениям банка.

Это приводило к огромному количеству проблем:

• долгая и нестабильная работа тестов;
• позднее обнаружение дефектов (уже после попадания их в код релизной ветки);
• починка одних тестов ломала другие, прогонка всех тестов на ПР-чеках была, в принципе, невозможна.

Решение этих проблем заняло несколько лет и привело к созданию и внедрению ряда инструментов и технологий. Например, в Сбере появился фреймворк тестирования со своим механизмом поиска элементов и выполнения логики проверок на стороне браузера. Также возник портал с детальной статистикой по результатам тестов, харвестер — инструмент для анализа влияния изменений кода ПР на тесты и т.д. Внедрение этих инструментов существенно помогло, но обнажило еще ряд организационных и качественных проблем (скорость и стабильность). Но с ними Сбер тоже успешно справился. Как? Сергей расскажет в этом докладе.