«Невыносимая легкость» автоматической генерации тестов

Автоматическая генерация тестов стала популярна в связи с появлением больших языковых моделей. Возникла иллюзия, что создать подобный инструмент не так уж и сложно. Так ли это?

Если отправить в языковую модель слишком мало информации, тесты будут плохими, а если слишком много, то дорогими. А еще нужно не только задать LLM правильный вопрос, но и качественно обработать полученный ответ.

Поговорим о подводных камнях и перспективах, которые открывает автоматическая генерация тестов. Расскажем, как три года назад мы начали искать решение на базе формальных методов (символьного исполнения и фаззинга) и создали UnitTestBot. Инструмент выигрывал международные соревнования и получил признание в академической среде, но с тем, чтобы добиться высокого качества тестов на больших проектах, справлялся не всегда. Сейчас мы уверены, что будущее технологии — за синтезом формальных методов и AI.