AI в вашем продукте больше не следует правилам. Теперь придется тестировать не правильность, а эффективность

В жизни большого продукта случается момент, когда мы начинаем оптимизировать эффективность сценариев пользователей. Вместо вопроса «Как это работает?» мы спрашиваем себя «Зачем?» и «Насколько эффективно?»

Эйфория от внедрения первого «умного» алгоритма или ML-модели отягощается утренним осознанием, что все это придется тестировать. Вам важно убедиться, что новая логика функционирует как задумано, и что нет регрессов. И тут выясняется, что понятия «правильности» работы больше нет, только непонятная «эффективность», про которую неясно, как ее правильно измерять. Не упрощает задачу то, что вы не можете зафиксировать входные данные.

В докладе расскажем, как Авито и другие большие компании выпутываются из сложного положения с помощью инфраструктуры качества поиска. На примере истории запуска ранжирования в Авито разберем основные проблемы и приемы, позволяющие частично решить эту невозможную задачу.

Доклад для смелых продактов и неравнодушных инженеров, готовых трансформировать продукт.