Тестирование ИИ-копилотов для разработки

Доклад о том, как мы тестируем копилоты и агентов. Наши копилоты нацелены на работу в закрытых контурах на локальных моделях. Тестирование имеет несколько этапов:

• Бенчмарки LLM.
• Тестирование чатов и агентов.
• Тестирование API IDE, с которыми мы работаем.
• Тестирование формальных методов для поиска flaky-тестов, уязвимостей, зависимостей, особенностей приложений во время запуска.
• Тестирование качества генерации кода.
• Тестирование измерений по использованию агентов.

Цель доклада — показать, как оттестировать копилоты в своем контуре.