Как мы тестировали LLM для собеседований, а они тестировали нас

И создали они коллаборацию: Анастасия Сабанеева (Альфа-Банк) и Антон Васильев (ИТ-холдинг Т1), и решили выступить с докладом: как применялись и тестировались языковые модели для проведения собеседований. В качестве испытуемых были модели Gemma 2-27B и Qwen2-27B, которые позволяют оценивать ответы на устные вопросы и практически моментально проверять live coding.