E2E-тесты в синтезе речи: от хаоса к системе

Спойлер: в этом докладе мы не будем рассматривать ML-часть вопроса.

Этот доклад скорее для инженеров, работающих с бекэнд-системами, которые хотят не просто писать тесты, а понимать, как устроена автоматизация сложных продуктов от идеи до работающей инфраструктуры.

Ведь тестирование синтеза речи — это не классический E2E, где нужно проверить поля в JSON-ответе. В аудиосервисах всё сложнее: продукт неидемпотентный, а результат — звук, который нельзя просто взять и сравнить побайтово. 

Расскажу, с какими проблемами сталкивается QA, когда приходит в мир синтеза речи, и какие решения помогают превратить хаотичный процесс в системное E2E-тестирование. Мы обсудим:

— Как компьютер, который не слышит звук, может сравнивать его?

— Как тестировать синтезированное аудио и какие проблемы нас поджидают?

— Какой пайплайн автотестов мы построили с нуля, используя доступные каждому инструменты: Python, pytest, S3 и gitlab CI.

И даже если сейчас ваши сервисы не поддерживают голосовое взаимодействие «человек — сервис», то, учитывая скорость проникновения LLM в нашу индустрию, очень скоро начнут, а вам нужно будет уметь это тестировать :)