
Александр Мешков
Компания: First Line Software
Год назад, когда я только начал изучать, как команды тестирования могут обеспечивать качество недетерминированных систем на базе больших LLM-моделей, я понял, что такой практики практически не существует.
В отличие от классических подходов к оценке качества ML-решений, оценка качества генеративного ИИ становится сложнее, так как нет готового датасета и данных, которые использовались при обучении. Кроме того, аспекты тестирования генеративного ИИ намного шире, потому что важно не только проверить, что система отвечает правильно и точно, но и то, что она не склоняется к предвзятости, соблюдает этику, соблюдает требования к безопасности и многое другое. В связи с этим я решил поделиться своим опытом тестирования решений на базе генеративного ИИ — потому что верю, что уже через 2-3 года тестировщики будут намного чаще использовать такие подходы в своей работе.
Компания: First Line Software