Code cần đầu vào dễ đoán. Structured output biến văn bản tự do của model thành dữ liệu mà chương trình của bạn có thể tin cậy.
Cách hoạt động
Có ba mức kiểm soát:
| Cách làm | Kết quả nhận được |
|---|---|
| Yêu cầu trong prompt | Thường là JSON, đôi khi kèm văn bản thừa hoặc thiếu trường |
| JSON mode | JSON hợp lệ, cấu trúc bất kỳ |
| Structured output có schema | JSON khớp với schema của bạn |
Ở định dạng OpenAI, JSON mode là response_format: {"type": "json_object"}. Structured output thì truyền vào một schema:
"response_format": {
"type": "json_schema",
"json_schema": {
"name": "invoice",
"strict": true,
"schema": {
"type": "object",
"properties": {
"vendor": { "type": "string" },
"total": { "type": "number" }
},
"required": ["vendor", "total"],
"additionalProperties": false
}
}
}
Tài liệu tham chiếu của OpenAI cho biết kiểu json_schema “ensures the model will match your supplied JSON schema.” (Bản dịch: đảm bảo model sẽ khớp với JSON schema bạn cung cấp). Nhiều nhà cung cấp làm điều này bằng constrained decoding (giải mã có ràng buộc): giới hạn những token mà model được phép sinh ở mỗi bước, để đầu ra vi phạm schema không thể được tạo ra.
Vì sao quan trọng
- Ít lỗi parse hơn. Pipeline trích xuất, bộ phân loại và agent có thể đọc trực tiếp các trường.
- Prompt đơn giản hơn. Schema thay cho những chỉ dẫn định dạng dài dòng.
- Không phải đảm bảo tuyệt đối. Hướng dẫn của OpenAI cho biết ứng dụng của bạn vẫn phải xử lý lời từ chối, phản hồi không đầy đủ và lỗi. Một câu trả lời bị cắt bởi
max_tokenslà JSON hỏng, bất kể schema nói gì.
Mức hỗ trợ khác nhau giữa các API tương thích OpenAI. Có nơi chỉ nhận json_schema, có nơi chỉ nhận json_object, và có nơi bỏ qua trường này. Hãy kiểm tra trước khi phụ thuộc vào nó.
Trên BroadNet Inference
Tài liệu của BroadNet liệt kê structured output cho GLM 5.3 và Qwen3.8 27B. Tài liệu không nêu tên tham số request, vì vậy hãy thử response_format trên model của bạn, và trong mọi trường hợp vẫn giữ một bộ parse JSON có xử lý lỗi. Công cụ kiểm tra đầu ra JSON của LLM cho thấy câu trả lời hỏng ở đâu và đối chiếu nó với schema của bạn. Cả hai model đều suy luận trước, nên hãy chừa đủ max_tokens cho cả phần suy nghĩ lẫn JSON.
Structured output kết hợp tốt với model vision. Hướng dẫn đọc hóa đơn tiếng Ả Rập gửi một hình ảnh và yêu cầu các trường dưới dạng JSON. Khi cần hành động thay vì câu trả lời, hãy dùng tool calling.
Lỗi thường gặp
- Quên
additionalProperties: false, hoặc không liệt kê mọi trường trongrequired, khi dùng strict mode. - Không kiểm tra
finish_reasontrước khi parse.