LLM'изация тестирования в Яндексе: измеряем эффект от AI в команде из 1000+ QA-инженеров

В Яндексе мы привыкли все измерять — и внедрение GenAI в тестировании не стало исключением.

Разберем, как оценивать эффект от AI не на уровне ощущений, а через понятные, воспроизводимые метрики. Какие показатели действительно отражают пользу? Как отделить реальный прирост от вау-эффекта? И как выстроить систему измерений в организации с более чем тысячей QA-инженеров, чтобы цифры были репрезентативными, а выводы — обоснованными.

Все вышеперечисленное будем смотреть на примерах реальных внедрений: LLM для генерации чек-листов и тест-кейсов, инструментах ускорения E2E-автотестов и AI-агентах для проведения регрессов.