LLM-системы часто начинаются как быстрый эксперимент, но после выхода в прод внезапно превращаются в заметную и плохо объяснимую расходную статью. В докладе разберем этот переход на примере Мультитестера — системы из восьми ИИ-агентов, которые генерируют и проверяют тест-кейсы.
Мы посмотрим, из каких повторяющихся частей складывается стоимость запроса: системного промпта, истории диалога, файлов, описаний функций, изображений и ответа модели. Покажу, как встроить учет usage в каждый агент и найти контуры, которые потребляют большую часть бюджета.
Далее разберем набор практических приемов: сокращение промптов, автоматическое сжатие требований, кеширование контекста и семантический кеш. Отдельная часть посвящена каскаду моделей GigaChat Lite, Pro, Max и Ultra, выборочному RAG, асинхронным batch-запросам и управлению длиной ответа.
Вы увидите, когда выгоднее использовать API, а когда — GigaChat 3.1 Lightning или 3.5 Ultra в собственной инфраструктуре и считать уже полный TCO. В финале все техники соединяются в одну архитектуру, которая уменьшает модельную стоимость расчетного сценария в три раза, сохраняя качество через регрессионный набор. Слушатели уйдут с пошаговым планом внедрения Token FinOps, который можно начать с логирования usage уже на следующий рабочий день.
