BroadRouter
Bắt đầu

JSON mode (chế độ JSON)

Cập nhật

JSON mode là một thiết lập của API LLM, response_format {"type": "json_object"} trong các API kiểu OpenAI, khiến câu trả lời của model là JSON hợp lệ, parse được. Khác với structured output dùng JSON Schema, nó không đảm bảo object chứa những key, kiểu hay giá trị nào.

Còn gọi là: chế độ JSON, JSON mode là gì, response_format json_object, đầu ra JSON, json_object, JSON output mode, JSON response mode

JSON mode trả lời một câu hỏi: json.loads() có chạy thành công không? Nó không trả lời câu hỏi thứ hai: đây có phải object mà code của tôi mong đợi không?

Cách hoạt động

Trong Chat Completions API, bạn bật nó bằng một trường:

{"response_format": {"type": "json_object"},
 "messages": [
   {"role": "system", "content": "Return JSON with keys name and email."},
   {"role": "user", "content": "Reach me at Sara, sara@example.com"}]}

Tài liệu tham chiếu API của OpenAI gọi đây là “the older JSON mode, which ensures the message the model generates is valid JSON.” (Bản dịch: JSON mode kiểu cũ, đảm bảo message mà model sinh ra là JSON hợp lệ). Nó đi kèm hai quy tắc. Bạn phải yêu cầu JSON trong một message: hướng dẫn của OpenAI nói API “will throw an error if the string ‘JSON’ does not appear somewhere in the context.” (Bản dịch: sẽ báo lỗi nếu chuỗi ‘JSON’ không xuất hiện ở đâu đó trong context). Và cấu trúc thì do model quyết định. Hướng dẫn nêu rõ JSON mode “will not guarantee the output matches any specific schema.” (Bản dịch: không đảm bảo đầu ra khớp với bất kỳ schema cụ thể nào).

Structured output là lựa chọn chặt chẽ hơn. Nó truyền một JSON Schema với {"type": "json_schema", ...}, và model bị ràng buộc theo schema đó.

JSON mode (json_object) Structured output (json_schema)
JSON hợp lệ có có
Key và kiểu bắt buộc không có
Bạn cung cấp schema không có
Phải nhắc “JSON” trong prompt có (OpenAI) không

OpenAI khuyến nghị “always using Structured Outputs instead of JSON mode when possible.” (Bản dịch: luôn dùng Structured Outputs thay cho JSON mode khi có thể).

Vì sao quan trọng

  • Việc kiểm tra vẫn là của bạn. Với JSON mode, một key bị thiếu hay một số bị gửi dưới dạng chuỗi vẫn parse bình thường rồi lỗi về sau. Hãy kiểm tra theo schema trong code.
  • Bị cắt cụt. Nếu câu trả lời chạm max_tokens, JSON sẽ không trọn vẹn. Model suy luận dễ gặp hơn, vì phần suy nghĩ dùng chung ngân sách đó.
  • Phương án dự phòng. Hướng dẫn của OpenAI nêu JSON mode cho các model cũ chưa có json_schema. Mức hỗ trợ khác nhau theo nhà cung cấp và model, nên JSON mode cộng với bước kiểm tra của riêng bạn là phương án dự phòng khi schema không được chấp nhận.

Trên BroadNet Inference

Tài liệu tham chiếu API của BroadNet ghi structured output cho GLM 5.3 và Qwen3.8 27B. Tài liệu không nói response_format được hỗ trợ là json_object hay json_schema, cũng không nói DeepSeek V4.1 Flash và BroadNet Gemma 4 VL 26B có nhận cái nào không. Hãy thử cả hai trên model của bạn. Để viết schema, dùng công cụ tạo JSON Schema. Bài viết JSON mode và json_schema bàn về sửa lỗi và giám sát, còn hướng dẫn đọc hóa đơn cho thấy cách trích xuất JSON từ hình ảnh.

Câu hỏi thường gặp

JSON mode có giống structured output không?

Không. Hướng dẫn của OpenAI nói cả hai đều tạo JSON hợp lệ, nhưng chỉ Structured Outputs đảm bảo tuân thủ schema. JSON mode có thể trả về bất kỳ object hợp lệ nào.

Vì sao JSON mode báo lỗi liên quan đến chữ JSON?

OpenAI yêu cầu phải có chỉ dẫn tạo JSON ở đâu đó trong các message, và báo lỗi nếu chuỗi "JSON" không xuất hiện trong context.

JSON mode vẫn có thể trả về JSON hỏng không?

Có, nếu câu trả lời bị cắt bởi max_tokens hoặc giới hạn context. Hãy kiểm tra finish_reason trước khi parse.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity