BroadRouter
Начать

Структурированный вывод (structured output)

Обновлено

Структурированный вывод — это функция LLM API, которая ограничивает ответ модели форматом, заданным разработчиком, обычно JSON Schema, чтобы код мог надёжно его разобрать. Он строже, чем JSON mode, который гарантирует корректный JSON, но не конкретную структуру.

Также называют: структурированный ответ, вывод по JSON-схеме, ответ в формате JSON, structured output, structured outputs, JSON schema output, response_format

Коду нужен предсказуемый ввод. Структурированный вывод превращает свободный текст модели в данные, которым ваша программа может доверять.

Как это работает

Есть три уровня контроля:

Способ Что вы получаете
Попросить в промпте Обычно JSON, иногда с лишним текстом или без нужных полей
JSON mode Корректный JSON любой структуры
Структурированный вывод со схемой JSON, соответствующий вашей схеме

В формате OpenAI JSON mode — это response_format: {"type": "json_object"}. Структурированный вывод передаёт схему:

"response_format": {
  "type": "json_schema",
  "json_schema": {
    "name": "invoice",
    "strict": true,
    "schema": {
      "type": "object",
      "properties": {
        "vendor": { "type": "string" },
        "total": { "type": "number" }
      },
      "required": ["vendor", "total"],
      "additionalProperties": false
    }
  }
}

В справочнике OpenAI сказано, что тип json_schema “ensures the model will match your supplied JSON schema” (перевод: «гарантирует, что модель будет соответствовать переданной вами JSON-схеме»). Многие провайдеры добиваются этого ограниченным декодированием: на каждом шаге модели разрешено генерировать только определённые токены, так что вывод, нарушающий схему, просто не может появиться.

Почему это важно

  • Меньше ошибок разбора. Конвейеры извлечения данных, классификаторы и агенты могут читать поля напрямую.
  • Проще промпты. Схема заменяет длинные инструкции по формату.
  • Не полная гарантия. В руководстве OpenAI сказано, что приложение всё равно должно обрабатывать отказы, неполные ответы и ошибки. Ответ, обрезанный по max_tokens, — это сломанный JSON, что бы ни говорила схема.

Поддержка в OpenAI-совместимых API различается. Одни принимают только json_schema, другие только json_object, третьи игнорируют это поле. Проверьте, прежде чем на него полагаться.

В BroadNet Inference

Документация BroadNet указывает структурированный вывод для GLM 5.3 и Qwen3.8 27B. Параметр запроса в документации не назван, поэтому проверьте response_format на своей модели и в любом случае разбирайте JSON с обработкой ошибок. Валидатор JSON-ответов LLM показывает, где ответ ломается, и проверяет его по вашей схеме. Обе модели сначала рассуждают, поэтому оставьте в max_tokens место и для размышлений, и для JSON.

Структурированный вывод хорошо сочетается с vision-моделями. Руководство по арабским счетам отправляет изображение и просит вернуть поля в виде JSON. Для действий, а не ответов используйте вызов инструментов.

Частые ошибки

  • В строгом режиме забывать additionalProperties: false или не перечислять все поля в required.
  • Не проверять finish_reason перед разбором.

Вопросы и ответы

Чем JSON mode отличается от структурированного вывода?

JSON mode обещает только то, что ответ разбирается как JSON. Структурированный вывод со схемой обещает ещё и заданные вами поля, типы и обязательные ключи. В руководстве OpenAI сказано, что соответствие схеме обеспечивают только Structured Outputs.

Нужно ли всё равно проверять ответ?

Да. Ответ всё ещё может оказаться отказом или обрезаться из-за max_tokens, а схема не может выразить все бизнес-правила, например что итоговая сумма должна равняться сумме позиций.

Что использовать: структурированный вывод или вызов инструментов?

Структурированный вывод — когда итоговый ответ нужен в фиксированной форме. Вызов инструментов — когда модель должна попросить ваш код что-то сделать, а затем продолжить.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity