Сервис аналитики прогонов: паплайн для анализа причин падений

Доклад посвящен созданию интеллектуального сервиса, который автоматизирует анализ причин падения автотестов после выполнения CI/CD-прогонов. Основная идея заключается не в том, чтобы «отдать анализ нейросети», а в построении контролируемого пайплайна, где искусственный интеллект используется только после сбора и структурирования всех необходимых фактов.

Я покажу практический опыт построения промышленного решения, которое объединяет данные из нескольких источников (Test IT, GitLab, история прогонов), выполняет детерминированную классификацию, а затем передает уже подготовленный контекст языковой модели для формирования гипотез и рекомендаций.

Главный тезис доклада: ИИ не заменяет инженера, а снимает рутинную работу по поиску контекста, позволяя специалисту быстрее принимать решения.

Какую проблему решает доклад: мы начинаем с типичной ситуации любой команды автоматизации. После ночного запуска десятки тестов оказываются красными. Чтобы понять причину каждого падения, инженеру приходится вручную:

— изучать стек ошибки;

— искать последние изменения в Git;

— смотреть историю похожих падений;

— анализировать логи и вложения;

— сравнивать результаты с предыдущими прогонами.

На один прогон могут уходить часы ручной работы вместо устранения настоящих дефектов. Из-за этого возникают проблемы:

— медленная классификация ошибок;

— длительный поиск причины;

— задержка релизов;

— высокая когнитивная нагрузка на AQA;

— большое количество переключений между различными системами.

Отдельная часть посвящена надежности решения, показываю использование evaluation-наборов; regression-тестов для промптов; проверки классификации; CI-проверок перед изменением промптов.

Таким образом, промпты становятся тестируемым артефактом разработки.

Кому будет полезен доклад:

Руководителям QA. Они увидят способ значительно сократить время анализа результатов автотестов и ускорить обратную связь по качеству продукта.

Инженерам автоматизации тестирования (AQA). Получат практический опыт построения интеллектуального помощника для разбора падений автотестов.

QA Team Lead. Узнают, как уменьшить нагрузку на дежурных инженеров и сократить время анализа CI-прогонов.