Как не пропустить рак из-за сломанного конфига: тестирование и мониторинг медицинского ИИ

За семь лет работы с медицинским ИИ почти все наши серьезные провалы происходили не из-за плохих ML-моделей. Почти всегда причина была в том, что находится вокруг них: клиент без предупреждения поставил новый высокотехнологичный аппарат или начал стирать важные теги в DICOM-файлах; ML-команда не договорилась с бэкендом о контракте; старые драйверы NVIDIA не поддерживают какую-то функцию и молча превращают ответ системы в полную ерунду.

На реальных инцидентах покажу, чем медицинский ИИ отличается от других доменов и как это меняет подход к тестированию и мониторингу: почему нет однозначного эталона (рентгенологи спорят между собой), почему прогоны невоспроизводимы, а подтверждение качества приходит с задержкой в недели. И что мы этому противопоставляем на каждом этапе — от офлайн-тестов и синтетических канареек до мониторинга в проде и LLM-агента, который сам разбирает инциденты.