Коду нужен предсказуемый ввод. Структурированный вывод превращает свободный текст модели в данные, которым ваша программа может доверять.
Как это работает
Есть три уровня контроля:
| Способ | Что вы получаете |
|---|---|
| Попросить в промпте | Обычно JSON, иногда с лишним текстом или без нужных полей |
| JSON mode | Корректный JSON любой структуры |
| Структурированный вывод со схемой | JSON, соответствующий вашей схеме |
В формате OpenAI JSON mode — это response_format: {"type": "json_object"}. Структурированный вывод передаёт схему:
"response_format": {
"type": "json_schema",
"json_schema": {
"name": "invoice",
"strict": true,
"schema": {
"type": "object",
"properties": {
"vendor": { "type": "string" },
"total": { "type": "number" }
},
"required": ["vendor", "total"],
"additionalProperties": false
}
}
}
В справочнике OpenAI сказано, что тип json_schema “ensures the model will match your supplied JSON schema” (перевод: «гарантирует, что модель будет соответствовать переданной вами JSON-схеме»). Многие провайдеры добиваются этого ограниченным декодированием: на каждом шаге модели разрешено генерировать только определённые токены, так что вывод, нарушающий схему, просто не может появиться.
Почему это важно
- Меньше ошибок разбора. Конвейеры извлечения данных, классификаторы и агенты могут читать поля напрямую.
- Проще промпты. Схема заменяет длинные инструкции по формату.
- Не полная гарантия. В руководстве OpenAI сказано, что приложение всё равно должно обрабатывать отказы, неполные ответы и ошибки. Ответ, обрезанный по
max_tokens, — это сломанный JSON, что бы ни говорила схема.
Поддержка в OpenAI-совместимых API различается. Одни принимают только json_schema, другие только json_object, третьи игнорируют это поле. Проверьте, прежде чем на него полагаться.
В BroadNet Inference
Документация BroadNet указывает структурированный вывод для GLM 5.3 и Qwen3.8 27B. Параметр запроса в документации не назван, поэтому проверьте response_format на своей модели и в любом случае разбирайте JSON с обработкой ошибок. Валидатор JSON-ответов LLM показывает, где ответ ломается, и проверяет его по вашей схеме. Обе модели сначала рассуждают, поэтому оставьте в max_tokens место и для размышлений, и для JSON.
Структурированный вывод хорошо сочетается с vision-моделями. Руководство по арабским счетам отправляет изображение и просит вернуть поля в виде JSON. Для действий, а не ответов используйте вызов инструментов.
Частые ошибки
- В строгом режиме забывать
additionalProperties: falseили не перечислять все поля вrequired. - Не проверять
finish_reasonперед разбором.