E2E-тесты в синтезе речи: от хаоса к системе

Тестирование синтеза речи — это не классический E2E, где нужно проверить поля в JSON-ответе. В аудиосервисах всё сложнее: продукт неидемпотентный, а результат — звук, который нельзя просто взять и сравнить побайтово. 

Расскажу, с какими проблемами сталкивается QA, когда приходит в мир синтеза речи, и какие решения помогают превратить хаотичный процесс в системное E2E-тестирование. Мы обсудим:

— чем тестирование аудио отличается от привычных API-проверок;

— какие метрики и подходы позволяют «оцифровать» качество речи;

— как построить автоматизированный флоу с использованием Python, pytest, S3 и CI/CD.

Это доклад для QA Backend / QA Auto и всех, кто хочет не просто писать тесты, а понимать, как устроена автоматизация сложных продуктов от идеи до работающей инфраструктуры. 

И даже если сейчас ваши сервисы не поддерживают голосовое взаимодействие «человек — сервис», то, учитывая скорость проникновения LLM в нашу индустрию, очень скоро начнут, а вам нужно будет уметь это тестировать :)