JSON mode trả lời một câu hỏi: json.loads() có chạy thành công không? Nó không trả lời câu hỏi thứ hai: đây có phải object mà code của tôi mong đợi không?
Cách hoạt động
Trong Chat Completions API, bạn bật nó bằng một trường:
{"response_format": {"type": "json_object"},
"messages": [
{"role": "system", "content": "Return JSON with keys name and email."},
{"role": "user", "content": "Reach me at Sara, sara@example.com"}]}
Tài liệu tham chiếu API của OpenAI gọi đây là “the older JSON mode, which ensures the message the model generates is valid JSON.” (Bản dịch: JSON mode kiểu cũ, đảm bảo message mà model sinh ra là JSON hợp lệ). Nó đi kèm hai quy tắc. Bạn phải yêu cầu JSON trong một message: hướng dẫn của OpenAI nói API “will throw an error if the string ‘JSON’ does not appear somewhere in the context.” (Bản dịch: sẽ báo lỗi nếu chuỗi ‘JSON’ không xuất hiện ở đâu đó trong context). Và cấu trúc thì do model quyết định. Hướng dẫn nêu rõ JSON mode “will not guarantee the output matches any specific schema.” (Bản dịch: không đảm bảo đầu ra khớp với bất kỳ schema cụ thể nào).
Structured output là lựa chọn chặt chẽ hơn. Nó truyền một JSON Schema với {"type": "json_schema", ...}, và model bị ràng buộc theo schema đó.
JSON mode (json_object) |
Structured output (json_schema) |
|
|---|---|---|
| JSON hợp lệ | có | có |
| Key và kiểu bắt buộc | không | có |
| Bạn cung cấp schema | không | có |
| Phải nhắc “JSON” trong prompt | có (OpenAI) | không |
OpenAI khuyến nghị “always using Structured Outputs instead of JSON mode when possible.” (Bản dịch: luôn dùng Structured Outputs thay cho JSON mode khi có thể).
Vì sao quan trọng
- Việc kiểm tra vẫn là của bạn. Với JSON mode, một key bị thiếu hay một số bị gửi dưới dạng chuỗi vẫn parse bình thường rồi lỗi về sau. Hãy kiểm tra theo schema trong code.
- Bị cắt cụt. Nếu câu trả lời chạm
max_tokens, JSON sẽ không trọn vẹn. Model suy luận dễ gặp hơn, vì phần suy nghĩ dùng chung ngân sách đó. - Phương án dự phòng. Hướng dẫn của OpenAI nêu JSON mode cho các model cũ chưa có
json_schema. Mức hỗ trợ khác nhau theo nhà cung cấp và model, nên JSON mode cộng với bước kiểm tra của riêng bạn là phương án dự phòng khi schema không được chấp nhận.
Trên BroadNet Inference
Tài liệu tham chiếu API của BroadNet ghi structured output cho GLM 5.3 và Qwen3.8 27B. Tài liệu không nói response_format được hỗ trợ là json_object hay json_schema, cũng không nói DeepSeek V4.1 Flash và BroadNet Gemma 4 VL 26B có nhận cái nào không. Hãy thử cả hai trên model của bạn. Để viết schema, dùng công cụ tạo JSON Schema. Bài viết JSON mode và json_schema bàn về sửa lỗi và giám sát, còn hướng dẫn đọc hóa đơn cho thấy cách trích xuất JSON từ hình ảnh.