ML-модель в сервисе под нагрузкой. Как это?

Модели машинного обучения давно стали частью продуктов, которые мы тестируем, проникли в работу самых критичных бизнес-процессов компаний и работают под высокой нагрузкой.

Вам нужна ML-модель под нагрузкой, но что делать — непонятно? Вам интересно, что происходит под капотом нагруженного ML-сервиса? Вам хочется понять, куда копать?

Тогда этот доклад для вас. Рассмотрим кейс проверки NFR-сервиса с ML-моделью, который успешно обрабатывает 1 миллион заказов в сутки. Окунемся в ML-модели, их ключевые свойства и в работу под нагрузкой. Заглянем в специфику нагрузки и сбора данных в процессе тестирования производительности.