BroadRouter
Bắt đầu

Đầu ra có cấu trúc (structured output)

Cập nhật

Đầu ra có cấu trúc (structured output) là tính năng của API LLM buộc câu trả lời của model theo định dạng do lập trình viên chỉ định, thường là JSON Schema, để code parse được tin cậy. Nó chặt hơn JSON mode, vốn chỉ đảm bảo JSON hợp lệ chứ không đảm bảo một cấu trúc cụ thể.

Còn gọi là: đầu ra có cấu trúc, đầu ra JSON theo schema, structured output, structured outputs, JSON schema output, response_format

Code cần đầu vào dễ đoán. Structured output biến văn bản tự do của model thành dữ liệu mà chương trình của bạn có thể tin cậy.

Cách hoạt động

Có ba mức kiểm soát:

Cách làm Kết quả nhận được
Yêu cầu trong prompt Thường là JSON, đôi khi kèm văn bản thừa hoặc thiếu trường
JSON mode JSON hợp lệ, cấu trúc bất kỳ
Structured output có schema JSON khớp với schema của bạn

Ở định dạng OpenAI, JSON mode là response_format: {"type": "json_object"}. Structured output thì truyền vào một schema:

"response_format": {
  "type": "json_schema",
  "json_schema": {
    "name": "invoice",
    "strict": true,
    "schema": {
      "type": "object",
      "properties": {
        "vendor": { "type": "string" },
        "total": { "type": "number" }
      },
      "required": ["vendor", "total"],
      "additionalProperties": false
    }
  }
}

Tài liệu tham chiếu của OpenAI cho biết kiểu json_schema “ensures the model will match your supplied JSON schema.” (Bản dịch: đảm bảo model sẽ khớp với JSON schema bạn cung cấp). Nhiều nhà cung cấp làm điều này bằng constrained decoding (giải mã có ràng buộc): giới hạn những token mà model được phép sinh ở mỗi bước, để đầu ra vi phạm schema không thể được tạo ra.

Vì sao quan trọng

  • Ít lỗi parse hơn. Pipeline trích xuất, bộ phân loại và agent có thể đọc trực tiếp các trường.
  • Prompt đơn giản hơn. Schema thay cho những chỉ dẫn định dạng dài dòng.
  • Không phải đảm bảo tuyệt đối. Hướng dẫn của OpenAI cho biết ứng dụng của bạn vẫn phải xử lý lời từ chối, phản hồi không đầy đủ và lỗi. Một câu trả lời bị cắt bởi max_tokens là JSON hỏng, bất kể schema nói gì.

Mức hỗ trợ khác nhau giữa các API tương thích OpenAI. Có nơi chỉ nhận json_schema, có nơi chỉ nhận json_object, và có nơi bỏ qua trường này. Hãy kiểm tra trước khi phụ thuộc vào nó.

Trên BroadNet Inference

Tài liệu của BroadNet liệt kê structured output cho GLM 5.3 và Qwen3.8 27B. Tài liệu không nêu tên tham số request, vì vậy hãy thử response_format trên model của bạn, và trong mọi trường hợp vẫn giữ một bộ parse JSON có xử lý lỗi. Công cụ kiểm tra đầu ra JSON của LLM cho thấy câu trả lời hỏng ở đâu và đối chiếu nó với schema của bạn. Cả hai model đều suy luận trước, nên hãy chừa đủ max_tokens cho cả phần suy nghĩ lẫn JSON.

Structured output kết hợp tốt với model vision. Hướng dẫn đọc hóa đơn tiếng Ả Rập gửi một hình ảnh và yêu cầu các trường dưới dạng JSON. Khi cần hành động thay vì câu trả lời, hãy dùng tool calling.

Lỗi thường gặp

  • Quên additionalProperties: false, hoặc không liệt kê mọi trường trong required, khi dùng strict mode.
  • Không kiểm tra finish_reason trước khi parse.

Câu hỏi thường gặp

JSON mode và structured output khác nhau thế nào?

JSON mode chỉ hứa câu trả lời parse được thành JSON. Structured output có schema còn hứa đúng các trường, kiểu dữ liệu và key bắt buộc mà bạn định nghĩa. Hướng dẫn của OpenAI cho biết chỉ Structured Outputs mới đảm bảo tuân thủ schema.

Tôi có còn cần kiểm tra đầu ra không?

Có. Câu trả lời vẫn có thể là một lời từ chối hoặc bị cắt bởi max_tokens, và schema không thể diễn đạt mọi quy tắc nghiệp vụ, ví dụ tổng tiền phải bằng tổng các dòng hàng.

Nên dùng structured output hay tool calling?

Dùng structured output khi bạn muốn câu trả lời cuối cùng có hình dạng cố định. Dùng tool calling khi model cần nhờ code của bạn làm một việc rồi tiếp tục.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity