Ваши A/B-тесты сломаны

Мы поговорим об области, смежной с тестированием. После того как вы проверили, что функциональность реализована нормально, она выкатывается в эксперимент, чтобы узнать, нравится ли новая версия пользователям. Замечали, что обычно люди, ответственные за эксперименты, в итоге говорят, что данных недостаточно для решения? Часто это действительно так, но нередко все дело в поломках системы экспериментов и учета пользовательской статистики. Мы рассмотрим типичные поломки, которые там встречаются, и у вас появится возможность, вернувшись на рабочее место, немножко побыть data scientists и найти ошибки у себя в компании. Какие-то из них там наверняка есть.