Краудсорсинг в тестировании

Расскажу, как мы в Яндексе решили проблему масштабирования задач ручного регрессионного тестирования с помощью краудсорсинга.

Регрессионное тестирование — очень важная часть работы над качеством продукта. И чем больше у вас продуктов и чем быстрее они развиваются, тем больше усилий нужно на него тратить. За последний год мы научились масштабировать задачи ручного тестирования для большинства продуктов Яндекса с помощью асессоров — удаленных сотрудников, работающих по совместительству на сдельной основе, и теперь в тестировании наших продуктов кроме штатных тестировщиков принимает участие более 700 асессоров.

В докладе расскажу:

• как удалось сделать задачи ручного тестирования максимально формализованными и обучить им сотни удаленных сотрудников;
• как удалось поставить процесс на промышленные рельсы, обеспечить тестирование в различных окружениях, выдерживать SLA по скорости и качеству;
• с какими трудностями мы сталкивались и как их решали (а некоторые еще не решили);
• какой вклад внесло тестирование асессорами в развитие продуктов Яндекса, как оно сказалось на частоте релизов и количестве пропускаемых багов.