Расписание

Говорим о расписании, сессиях и делимся информацией.

Как измерить реальный эффект GenAI в тестировании на масштабе более чем в тысячу QA-инженеров и отделить пользу от вау-эффекта? Покажем систему метрик и результаты внедрения: LLM для генерации тестовой документации, ускорение E2E-автотестов и AI-агенты для регрессов.

CI может выглядеть стабильным, но это не всегда означает, что он работает эффективно.

Разберем, как по метрикам, мониторингам и структуре пайплайна понять реальное состояние инфраструктуры, где искать узкие места и почему многие проблемы скрываются не в тестах, а в конфигурации среды.

На примерах из практики покажем, какие решения действительно помогают ускорять прогоны и почему советы генеративного ИИ стоит проверять инженерным опытом.

Расскажем, какие проблемы появлялись, как мы учились воспроизводить дефект, как наступали на детские грабли и чем это все закончилось (или не закончилось).

LLM-as-a-Judge в автоматизации тестирования AI-агентов — обсудим, зачем эта практика нужна, какие модели выбрать, почему LLM-as-a-Judge обманет вас своей простотой и как начать писать автоматизацию регресса ваших AI-агентов.

Систематизируем подход к тестированию в геймдеве. Я покажу вам, как методы тест-дизайна используются в геймдеве, и поделюсь паттернами подходов к основным игровым механикам.

Расскажу, как построить простой и удобный инструмент для измерения энергопотребления разных электрических приборов и встроить его в свою инфраструктуру.

Рынок меняется, компании пересматривают команды, а требования к специалистам становятся другими. На QAртирнике честно обсудим, почему на самом деле увольняют сотрудников, какие сигналы могут появляться заранее и какие специалисты будут востребованы в ближайшие годы. Это открытый разговор, где можно не только слушать, но и задавать вопросы, спорить и делиться своим опытом.

Плохо защищенные тестовые репозитории — это не будущая угроза, которая рано или поздно материализуется. Это текущая, активно эксплуатируемая брешь в безопасности. И по мере укрепления защиты production-кода этот разрыв будет только увеличиваться, делая атаки на тесты все более привлекательными для злоумышленников. Вопрос не в том, будут ли атаковать, а в том, когда это затронет вашу компанию.

Расскажу об актуальном состоянии инструментов мутационного тестирования по языкам программирования. Какие новые научные работы выходили? Какие инструменты где актуальны? Моя задача — дать обзор темы, не вдаваясь в детали конкретных инструментов или языков.

Обсудим, как внедрить ИИ в компании, если у вас нет больших ресурсов и свободных ML-команд. Покажу бесплатный ИИ-ассистент Roo Code, а также необычный подход к написанию агентов по оценке фич, анализу коммитов, тестированию требований.

Разбираем реальные кейсы из практики без заготовленных ответов: на сцене эксперты по очереди предложат свои решения, объяснят ход мыслей и аргументируют подходы. Но решать, какой подход окажется наиболее оправданным в каждом конкретном случае, будете только вы!

Контракты помогают устранить множество проблем на границах сервисов и команд — от неоднозначного понимания данных до сложного дебага и долгих регрессов. В докладе на реальных примерах из веб- и мобильной разработки покажем, как работа с контрактами позволяет сократить количество багов, ускорить онбординг и улучшить тестовое покрытие. Поговорим о том, как внедрять контрактный подход постепенно и без лишнего усложнения. В конце — простой первый шаг, который можно сделать буквально за один вечер.

Немного поностальгируем о временах, когда трава была зеленее, а JUnit был очень простой библиотекой.

Практика построения агентной системы для мобильного регресса: взаимодействие с устройством, подбор модели и набор инженерных приемов, которые снижают недетерминизм и помогают валидировать результат без самообмана.

Расскажу, как Ozon Банк запускал сеть банкоматов, какие сложности возникли при тестировании и как мы искали подход к автоматизации регресса для UI банкомата.

Соберем простой RAG-бот на основе программы конференции Heisenbug.

Проблема «как это воспроизвести?» решена! Доклад о моем браузерном расширении, которое берет на себя запись действий, перехватывает ошибки и помогает генерировать баг-репорты без необходимости всё запоминать и записывать вручную.

Доклад посвящен практике тестирования приложений на основе больших языковых моделей (LLM) с использованием инструмента DeepEval. Рассмотрим автоматизацию оценки качества через подход LLM-as-a-Judge, применение специализированных метрик и интеграцию тестирования в процесс разработки для обеспечения надежности и предсказуемости работы систем.

Тестирование сервиса «Оплата улыбкой».

Проверка безопасности и поиск уязвимостей биометрических систем.

Доклад о том, как мы тестируем копилоты и агентов. 

Что на самом деле думают нанимающие менеджеры бигтеха о спорных ситуациях на технических интервью? Где проходит граница «допустимой помощи» и что делать, если кажется, что что-то идет не так?

В интерактивном формате эксперты разберут реальные кейсы без заготовленных ответов, а участники решат, чья позиция убедительнее.

Поговорим про тестирование безопасности IoT-устройств и embedded-прошивок, опираясь на OWASP Firmware Security Testing Methodology, и составим чек-лист с проверками защищенности устройств.

Ошибки встречаются на всех этапах разработки ПО. Чем раньше обнаружим, тем дешевле их исправить. На воркшопе тестировщики научатся выявлять ошибки в требованиях до этапа разработки. Тем самым сократят количество потенциальных ошибок, время и силы команды на их исправление.

При росте кодовой базы ИИ начинает терять контекст. Расскажу, как с этим можно справиться — упорядочить и ускорить свою работу.

Хаос-тестирование — это практика, позволяющая заранее выявлять уязвимости системы, искусственно создавая сбои в ее работе. Расскажем, как в Т-Банке разработали инструмент для такого тестирования и интегрировали его в повседневную работу команд и процессы SDLC.

Узнаете, как организовать компактную, удобную и масштабируемую лабораторию для тестовых стендов, используя в качестве платформы телекоммуникационные стойки.

Подводим итоги конференции, вспоминаем яркие моменты и рассказываем о дальнейших планах.