Тип доклада: Доклад

AI в вашем продукте больше не следует правилам. Теперь придется тестировать не правильность, а эффективность

  • Доклад на русском языке
Презентация pdf

В жизни большого продукта случается момент, когда мы начинаем оптимизировать эффективность сценариев пользователей. Вместо вопроса «Как это работает?» мы спрашиваем себя «Зачем?» и «Насколько эффективно?»

Эйфория от внедрения первого «умного» алгоритма или ML-модели отягощается утренним осознанием, что все это придется тестировать. Вам важно убедиться, что новая логика функционирует как задумано, и что нет регрессов. И тут выясняется, что понятия «правильности» работы больше нет, только непонятная «эффективность», про которую неясно, как ее правильно измерять. Не упрощает задачу то, что вы не можете зафиксировать входные данные.

В докладе расскажем, как Авито и другие большие компании выпутываются из сложного положения с помощью инфраструктуры качества поиска. На примере истории запуска ранжирования в Авито разберем основные проблемы и приемы, позволяющие частично решить эту невозможную задачу.

Доклад для смелых продактов и неравнодушных инженеров, готовых трансформировать продукт.

  • #ab
  • #search
  • #ml
  • #ranking
  • #evaluation
  • #metrics

Спикеры

Приглашенные эксперты

Расписание