Расписание

Токены — это валюта LLM-систем, и инженер, который не управляет их расходом, просто сжигает бюджет впустую. На примере реальной мультиагентной системы автотестирования показываем, как выбор правильной модели под задачу и несколько инженерных техник дают 40–90% экономии без потери качества.

Качество медицинского ИИ нельзя измерить одной офлайн-метрикой — ошибка может крыться в данных, конфиге, препроцессинге, интеграции или инфраструктуре клиента. На реальных фейлах покажу, как мы тестируем весь путь исследования и почему считаем мониторинг частью тестирования.

Доклад о том, как искать баги не в приложениях, а в самих QA-инструментах, которым мы доверяем результаты тестирования. Покажу подход на основе зависимых типов и мультиагентной системы, которая генерирует корректные входные данные и находит расхождения между разными реализациями спецификаций. На реальных примерах разберем, где формальные методы действительно помогают повысить доверие к инструментам, а где их возможности переоценивают.

На воркшопе мы вместе соберем своего QAI-агента — агентную систему, которая помогает тестировать задачи и проводить root-cause анализ.

Как тестировать автономные мультиагентные системы, если их качество не детерминировано, а ошибки могут скрываться глубоко внутри цепочки агентов? На боевых примерах разберем проблемы с датасетами, метриками, выбором моделей и анализом логов, а затем покажем, как LangFuse помогает превратить эксперименты с LLM в прозрачный инженерный процесс с версионностью, параллельным тестированием и измеримыми результатами.

На воркшопе разберем основные уязвимости современных ИИ-агентов и на практике попробуем их эксплуатировать. Участники получат доступ к учебному приложению с ИИ-агентом и последовательно выполнят задания по обходу guardrails, prompt injection, атакам на tool calling и мультиагентные системы.

Агенты в работе QA: от разбора бага до quality gate в пайплайне. Что прячется за каждой настройкой, сколько стоит один ход диалога и почему авторы Playwright советуют не использовать их собственный MCP.

Какой должна быть архитектура фреймворка автотестов для бэкенда? Обсудим проверенные решения, масштабируемость и практический опыт.

Как автоматизировать анализ падений автотестов после CI/CD-прогонов и не превращать этот процесс в «отдали всё нейросети»? На практическом примере разберем пайплайн, который собирает данные из Test IT, GitLab и истории прогонов, выполняет детерминированную классификацию и передает подготовленный контекст языковой модели для формирования гипотез и рекомендаций.

Поговорим также о том, как тестировать промпты и контролировать качество AI-решения с помощью evaluation-наборов и CI-проверок.

На небольших наглядных примерах мы рассмотрим типичные «иллюзии покрытия» (зеленые строки и растущие проценты, которые не повышают качество тестов), покажем, как цикломатическая сложность может задавать нижнюю границу числа необходимых тестов, а также обсудим мутационное тестирование как дополнительный подход и его практические ограничения. 

Конфигурируемые пользовательские сценарии плохо масштабируются классическими E2E-тестами: чем больше вариантов пути и условий, тем дороже становится их поддержка. В докладе расскажем, как в Авито запускаем сквозные проверки на production-коде без полного E2E-окружения, изолируя внешние зависимости с помощью фейков. Разберем, где такой подход работает лучше классических моков, какие у него ограничения и что из него можно применить в других продуктах.

Бэкенд-тестирование часто страдает не от нехватки инструментов, а от неправильной расстановки приоритетов. В докладе разберем типичные ошибки при тестировании распределенных систем: как находить критические пользовательские маршруты, выбирать важные интеграционные сценарии, правильно группировать тесты и не путать проверку модулей с проверкой интеграций.

На практических примерах обсудим, как пересмотреть тестовую модель, найти слепые зоны и сосредоточиться на проверках, которые действительно снижают риск дефектов в продакшене.

Токены — это валюта LLM-систем, и инженер, который не управляет их расходом, просто сжигает бюджет впустую. На примере реальной мультиагентной системы автотестирования показываем, как выбор правильной модели под задачу и несколько инженерных техник дают 40–90% экономии без потери качества.

Качество медицинского ИИ нельзя измерить одной офлайн-метрикой — ошибка может крыться в данных, конфиге, препроцессинге, интеграции или инфраструктуре клиента. На реальных фейлах покажу, как мы тестируем весь путь исследования и почему считаем мониторинг частью тестирования.

Реальная история о том, как мы с командой прошли путь от 30-40 минут на один запуск интеграционных тестов до 3-4 минут. Обсудим, как мы к этому пришли, какие ошибки совершали по пути и на чём в итоге остановились.

QA — это не только тестирование и закрытие тикетов. Поговорим о том, как оценивать реальные условия, находить зависимости и ограничения и принимать решения, которые помогают команде создать востребованную систему. На истории механических компьютеров Бэббиджа и Шольцев разберем, почему снижение требований к качеству иногда становится не компромиссом, а условием успеха.

В рамках доклада рассмотрим, как организовать автоматизированное тестирование, требующее одновременного сетевого взаимодействия нескольких машин, используя только Python, Netmiko и pytest. Изучим подходы к созданию стабильных тестов в условиях, когда ОС и синтаксис команд на машинах могут различаться или меняться.

Разберём, как сохранять контроль над удалённой машиной в сценариях, предполагающих отключение WAN-интерфейса и последующий обрыв SSH-соединения. На примере автоматизации тестирования сетевого ПО на удалённых машинах рассмотрим создание универсального SSH-адаптера.

Расскажем, как тестируем робота-доставщика, и на примерах покажем, как меняется стратегия тестирования на разных стадиях жизненного цикла продукта.

Что такое полевое тестирование телеком-оборудования и зачем оно нужно в реальной сети? Разберем, как проходит Drive Test, какое оборудование и ПО для него используются, какие показатели определяют качество связи и почему скорость может отличаться на разных устройствах.

На реальных примерах покажем, какие проблемы можно выявить только в полевых условиях и как такое тестирование помогает делать сеть надежнее.

Разберу кейс внедрения Data Quality в проекте налоговой отчетности, где синергия PyDeequ и Soda Core помогла стабилизировать расчеты и избежать финансовых рисков. Также продемонстрирую наш DQ-generator, который трансформирует метаданные в готовые правила валидации и существенно сокращает рутинную работу инженеров.

На воркшопе мы вместе соберем своего QAI-агента — агентную систему, которая помогает тестировать задачи и проводить root-cause анализ.

Мейнтейнер pywinauto, рассказываю о кроссплатформенности в десктопных UI-тестах, о внедрении кода (DLL/SO) в UI-процесс, которое отодвинет коммерческое ПО, и разбираю пару сложных кейсов.

На воркшопе разберем основные уязвимости современных ИИ-агентов и на практике попробуем их эксплуатировать. Участники получат доступ к учебному приложению с ИИ-агентом и последовательно выполнят задания по обходу guardrails, prompt injection, атакам на tool calling и мультиагентные системы.

Делимся результатами опроса TechRadar.

TechRadar показывает, что происходит в индустрии. А мы предлагаем вместе разобраться — почему именно так и что это значит для нашей работы. После презентации исследования приглашаем вас обсудить самые интересные результаты за тематическими столами вместе с экспертами и коллегами. Главные выводы и инсайты участников мы соберем и представим на закрытии конференции.

Что на самом деле означает «достаточное покрытие тестами»? В этом докладе проследим, как эволюционировали подходы к оценке качества тестирования: от line coverage и data coverage до фаззинга, context coverage и business coverage. Разберем, почему классические метрики упираются в отсутствие контекста и как большие языковые модели помогают учитывать требования, предметную область и ценность сценариев для бизнеса. Поговорим о том, где проходят новые границы тестирования и почему покрывать нужно не всё, а то, что действительно важно.

Как стремительное развитие искусственного интеллекта меняет наши когнитивные процессы и критическое мышление? Обсудим результаты современных психологических исследований и разберемся, зачем критическое мышление становится особенно важным в эпоху ИИ.

Подводим итоги конференции, вспоминаем яркие моменты и рассказываем о дальнейших планах.