Расписание

Как измерить реальный эффект GenAI в тестировании на масштабе более чем в тысячу QA-инженеров и отделить пользу от вау-эффекта? Покажем систему метрик и результаты внедрения: LLM для генерации тестовой документации, ускорение E2E-автотестов и AI-агенты для регрессов.

Как превратить хаотичный вайбкодинг в контролируемый инженерный процесс с помощью Spec-Driven Development, кастомных навыков и правильных инструментов тестирования. На примере живой сборки проекта (Web, Mobile, Backend) покажу, как заставить AI-агентов выдавать качественный результат с первой попытки без бесконечных правок в чате.

LLM-as-a-Judge в автоматизации тестирования AI-агентов — обсудим, зачем эта практика нужна, какие модели выбрать, почему LLM-as-a-Judge обманет вас своей простотой и как начать писать автоматизацию регресса ваших AI-агентов.

Соберем простой RAG-бот на основе программы конференции Heisenbug.

Обсудим, как внедрить ИИ в компании, если у вас нет больших ресурсов и свободных ML-команд. Покажу бесплатный ИИ-ассистент Roo Code, а также необычный подход к написанию агентов по оценке фич, анализу коммитов, тестированию требований.

Практика построения агентной системы для мобильного регресса: взаимодействие с устройством, подбор модели и набор инженерных приемов, которые снижают недетерминизм и помогают валидировать результат без самообмана.

Доклад посвящен практике тестирования приложений на основе больших языковых моделей (LLM) с использованием инструмента DeepEval. Рассмотрим автоматизацию оценки качества через подход LLM-as-a-Judge, применение специализированных метрик и интеграцию тестирования в процесс разработки для обеспечения надежности и предсказуемости работы систем.

Доклад о том, как мы тестируем копилоты и агентов. 

При росте кодовой базы ИИ начинает терять контекст. Расскажу, как с этим можно справиться — упорядочить и ускорить свою работу.

Как измерить реальный эффект GenAI в тестировании на масштабе более чем в тысячу QA-инженеров и отделить пользу от вау-эффекта? Покажем систему метрик и результаты внедрения: LLM для генерации тестовой документации, ускорение E2E-автотестов и AI-агенты для регрессов.

CI может выглядеть стабильным, но это не всегда означает, что он работает эффективно.

Разберем, как по метрикам, мониторингам и структуре пайплайна понять реальное состояние инфраструктуры, где искать узкие места и почему многие проблемы скрываются не в тестах, а в конфигурации среды.

На примерах из практики покажем, какие решения действительно помогают ускорять прогоны и почему советы генеративного ИИ стоит проверять инженерным опытом.

Систематизируем подход к тестированию в геймдеве. Я покажу вам, как методы тест-дизайна используются в геймдеве, и поделюсь паттернами подходов к основным игровым механикам.

Рынок меняется, компании пересматривают команды, а требования к специалистам становятся другими. На QAртирнике честно обсудим, почему на самом деле увольняют сотрудников, какие сигналы могут появляться заранее и какие специалисты будут востребованы в ближайшие годы. Это открытый разговор, где можно не только слушать, но и задавать вопросы, спорить и делиться своим опытом.

Разбираем реальные кейсы из практики без заготовленных ответов: на сцене эксперты по очереди предложат свои решения, объяснят ход мыслей и аргументируют подходы. Но решать, какой подход окажется наиболее оправданным в каждом конкретном случае, будете только вы!

Тестирование сервиса «Оплата улыбкой».

Проверка безопасности и поиск уязвимостей биометрических систем.

Что на самом деле думают нанимающие менеджеры бигтеха о спорных ситуациях на технических интервью? Где проходит граница «допустимой помощи» и что делать, если кажется, что что-то идет не так?

В интерактивном формате эксперты разберут реальные кейсы без заготовленных ответов, а участники решат, чья позиция убедительнее.

Ошибки встречаются на всех этапах разработки ПО. Чем раньше обнаружим, тем дешевле их исправить. На воркшопе тестировщики научатся выявлять ошибки в требованиях до этапа разработки. Тем самым сократят количество потенциальных ошибок, время и силы команды на их исправление.

Видели мой доклад про инструменты тестировщика в далеком 2017-м, а может, даже ваша карьера в тестировании началась с него?

С тех пор много чего изменилось: некоторые инструменты перестали существовать, некоторые сильно изменились или проиграли более сильным конкурентам, ну и появилось много новых! Как инструментов, так и целых направлений.

Порефлексируем и обсудим новинки вместе!

Обсудим, как внедрить ИИ в компании, если у вас нет больших ресурсов и свободных ML-команд. Покажу бесплатный ИИ-ассистент Roo Code, а также необычный подход к написанию агентов по оценке фич, анализу коммитов, тестированию требований.

Немного поностальгируем о временах, когда трава была зеленее, а JUnit был очень простой библиотекой.

Проблема «как это воспроизвести?» решена! Доклад о моем браузерном расширении, которое берет на себя запись действий, перехватывает ошибки и помогает генерировать баг-репорты без необходимости всё запоминать и записывать вручную.

Доклад посвящен практике тестирования приложений на основе больших языковых моделей (LLM) с использованием инструмента DeepEval. Рассмотрим автоматизацию оценки качества через подход LLM-as-a-Judge, применение специализированных метрик и интеграцию тестирования в процесс разработки для обеспечения надежности и предсказуемости работы систем.

При росте кодовой базы ИИ начинает терять контекст. Расскажу, как с этим можно справиться — упорядочить и ускорить свою работу.

Хаос-тестирование — это практика, позволяющая заранее выявлять уязвимости системы, искусственно создавая сбои в ее работе. Расскажем, как в Т-Банке разработали инструмент для такого тестирования и интегрировали его в повседневную работу команд и процессы SDLC.

CI может выглядеть стабильным, но это не всегда означает, что он работает эффективно.

Разберем, как по метрикам, мониторингам и структуре пайплайна понять реальное состояние инфраструктуры, где искать узкие места и почему многие проблемы скрываются не в тестах, а в конфигурации среды.

На примерах из практики покажем, какие решения действительно помогают ускорять прогоны и почему советы генеративного ИИ стоит проверять инженерным опытом.

Расскажу об актуальном состоянии инструментов мутационного тестирования по языкам программирования. Какие новые научные работы выходили? Какие инструменты где актуальны? Моя задача — дать обзор темы, не вдаваясь в детали конкретных инструментов или языков.

Контракты помогают устранить множество проблем на границах сервисов и команд — от неоднозначного понимания данных до сложного дебага и долгих регрессов. В докладе на реальных примерах из веб- и мобильной разработки покажем, как работа с контрактами позволяет сократить количество багов, ускорить онбординг и улучшить тестовое покрытие. Поговорим о том, как внедрять контрактный подход постепенно и без лишнего усложнения. В конце — простой первый шаг, который можно сделать буквально за один вечер.

Практика построения агентной системы для мобильного регресса: взаимодействие с устройством, подбор модели и набор инженерных приемов, которые снижают недетерминизм и помогают валидировать результат без самообмана.

Расскажу, как Ozon Банк запускал сеть банкоматов, какие сложности возникли при тестировании и как мы искали подход к автоматизации регресса для UI банкомата.

При росте кодовой базы ИИ начинает терять контекст. Расскажу, как с этим можно справиться — упорядочить и ускорить свою работу.

Хаос-тестирование — это практика, позволяющая заранее выявлять уязвимости системы, искусственно создавая сбои в ее работе. Расскажем, как в Т-Банке разработали инструмент для такого тестирования и интегрировали его в повседневную работу команд и процессы SDLC.

Расскажу, как построить простой и удобный инструмент для измерения энергопотребления разных электрических приборов и встроить его в свою инфраструктуру.

Тестирование сервиса «Оплата улыбкой».

Проверка безопасности и поиск уязвимостей биометрических систем.

Узнаете, как организовать компактную, удобную и масштабируемую лабораторию для тестовых стендов, используя в качестве платформы телекоммуникационные стойки.

CI может выглядеть стабильным, но это не всегда означает, что он работает эффективно.

Разберем, как по метрикам, мониторингам и структуре пайплайна понять реальное состояние инфраструктуры, где искать узкие места и почему многие проблемы скрываются не в тестах, а в конфигурации среды.

На примерах из практики покажем, какие решения действительно помогают ускорять прогоны и почему советы генеративного ИИ стоит проверять инженерным опытом.

Расскажу, как построить простой и удобный инструмент для измерения энергопотребления разных электрических приборов и встроить его в свою инфраструктуру.

Практика построения агентной системы для мобильного регресса: взаимодействие с устройством, подбор модели и набор инженерных приемов, которые снижают недетерминизм и помогают валидировать результат без самообмана.

Плохо защищенные тестовые репозитории — это не будущая угроза, которая рано или поздно материализуется. Это текущая, активно эксплуатируемая брешь в безопасности. И по мере укрепления защиты production-кода этот разрыв будет только увеличиваться, делая атаки на тесты все более привлекательными для злоумышленников. Вопрос не в том, будут ли атаковать, а в том, когда это затронет вашу компанию.

Поговорим про тестирование безопасности IoT-устройств и embedded-прошивок, опираясь на OWASP Firmware Security Testing Methodology, и составим чек-лист с проверками защищенности устройств.

Расскажем, какие проблемы появлялись, как мы учились воспроизводить дефект, как наступали на детские грабли и чем это все закончилось (или не закончилось).

Систематизируем подход к тестированию в геймдеве. Я покажу вам, как методы тест-дизайна используются в геймдеве, и поделюсь паттернами подходов к основным игровым механикам.

Говорим о расписании, сессиях и делимся информацией.

Мы строим системы, которые ни один из нас не способен удержать в голове целиком. Закрываем сложность абстракциями, абстракции — фреймворками, фреймворки — автоматизацией. И с каждым новым слоем всё сильнее верим, что на этот раз проверять не нужно. Что инструмент наконец достаточно умный. Что и так работает. А потом кто-то всё-таки проверяет — и начинается.

Развлекательный формат для тех, кто любит холивары и готов отстаивать свою точку зрения.

Lightning talks — это отличный формат, чтобы динамично обсудить тему и найти единомышленников. Вас ждут 10-минутные доклады на профессиональные или околопрофессиональные темы и живые обсуждения.

Квантовые компьютеры уже существуют и становятся все мощнее — но как понять, что они работают правильно, если в квантовых вычислениях неизбежны шумы и ошибки? Разберем, как тестируют элементы квантовых вычислителей, измеряют состояние кубитов и оценивают производительность квантовых процессоров. Также поговорим о природе ошибок в квантовых системах и о том, можно ли вообще создать квантовый компьютер без них.

Подводим итоги конференции, вспоминаем яркие моменты и рассказываем о дальнейших планах.