— это инструмент взаимодействия с LLM, гарантирующий, что ответ будет возвращен в строгом, заранее определенном и машиночитаемом формате (обычно это JSON).
Работает как API на уровне инференса. Использует технологию .
Когда вы передаете в API свою JSON-схему, движок модели строит FSM или использует формальную грамматику.
На каждом шаге генерации алгоритм проверяет вероятности следующих токенов:
Вычисляет все возможные следующие токены.
Отбрасывает те токены, которые нарушают синтаксис JSON или заданную схему.
Модель выбирает токен только из списка «разрешенных».
Текстовая инструкция в system prompt («выведи JSON»).
Передача JSON Schema в параметр API (напр., response_format).
Низкая. Модель может добавить текст до или после JSON.
Абсолютная. Модель генерирует только валидный JSON.
Может ошибиться (вернуть строку "10" вместо числа 10).
Строгое соблюдение типов из схемы.
Может придумать лишние ключи или забыть нужные.
Генерирует строго по ключам, описанным в схеме.
description Из них модель понимает, что именно нужно положить в это поле. Пишите их максимально четко.- Не создавайте схемы с вложенностью в 10 уровней. Чем сложнее структура, тем тяжелее модели распределять attention между логикой ответа и соблюдением схемы.
- Если задача сложная (требует логики), используйте 📑AI: SGR .