BroadRouter
Mulakan

Output berstruktur (structured output)

Dikemas kini

Output berstruktur ialah ciri API LLM yang mengehadkan balasan model kepada format yang ditetapkan oleh pembangun, biasanya JSON Schema, supaya kod boleh menghuraikannya dengan boleh dipercayai. Ia lebih ketat daripada JSON mode, yang menjamin JSON yang sah tetapi bukan bentuk tertentu.

Juga dikenali sebagai: output berstruktur, output JSON, structured output, structured outputs, JSON schema output, response_format

Kod memerlukan input yang boleh diramal. Output berstruktur menukar teks bebas model kepada data yang boleh dipercayai oleh program anda.

Cara ia berfungsi

Terdapat tiga tahap kawalan:

Kaedah Apa yang anda dapat
Minta dalam prompt Biasanya JSON, kadangkala dengan teks tambahan atau medan yang hilang
JSON mode JSON yang sah, apa-apa bentuk
Output berstruktur dengan skema JSON yang sepadan dengan skema anda

Dalam format OpenAI, JSON mode ialah response_format: {"type": "json_object"}. Output berstruktur menghantar skema:

"response_format": {
  "type": "json_schema",
  "json_schema": {
    "name": "invoice",
    "strict": true,
    "schema": {
      "type": "object",
      "properties": {
        "vendor": { "type": "string" },
        "total": { "type": "number" }
      },
      "required": ["vendor", "total"],
      "additionalProperties": false
    }
  }
}

Rujukan OpenAI menyatakan jenis json_schema “ensures the model will match your supplied JSON schema.” (Terjemahan BroadRouter: “memastikan model akan sepadan dengan JSON schema yang anda berikan.”) Banyak penyedia melakukannya dengan penyahkodan terkekang (constrained decoding): mengehadkan token yang boleh dihasilkan model pada setiap langkah, supaya output yang melanggar skema tidak dapat dijana.

Mengapa ia penting

  • Kurang ralat penghuraian. Saluran paip pengekstrakan, pengelas dan ejen boleh membaca medan secara terus.
  • Prompt lebih ringkas. Skema menggantikan arahan format yang panjang.
  • Bukan jaminan penuh. Panduan OpenAI menyatakan aplikasi anda masih perlu mengendalikan penolakan, respons tidak lengkap dan ralat. Balasan yang terpotong oleh max_tokens ialah JSON yang rosak, walau apa pun kata skema.

Sokongan berbeza merentas API serasi OpenAI. Sesetengahnya hanya menerima json_schema, sesetengahnya hanya json_object, dan sesetengahnya mengabaikan medan itu. Semak sebelum anda bergantung padanya.

Di BroadNet Inference

Dokumentasi BroadNet menyenaraikan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B. Dokumentasi itu tidak menamakan parameter permintaan, jadi uji response_format pada model anda, dan kekalkan penghurai JSON dengan pengendalian ralat walau apa pun hasilnya. Pengesah output JSON LLM menunjukkan di mana balasan rosak dan menyemaknya berbanding skema anda. Kedua-dua model membuat penaakulan dahulu, jadi beri ruang dalam max_tokens untuk berfikir serta JSON.

Output berstruktur sesuai digandingkan dengan model penglihatan. Panduan invois bahasa Arab menghantar imej dan meminta medan sebagai JSON. Untuk tindakan dan bukan jawapan, gunakan tool calling.

Kesilapan biasa

  • Terlupa additionalProperties: false, atau tidak menyenaraikan setiap medan dalam required, apabila menggunakan strict mode.
  • Tidak menyemak finish_reason sebelum menghurai.

Soalan lazim

Apakah perbezaan antara JSON mode dan output berstruktur?

JSON mode hanya menjanjikan balasan boleh dihurai sebagai JSON. Output berstruktur dengan skema juga menjanjikan medan, jenis dan kunci wajib yang anda tetapkan. Panduan OpenAI menyatakan hanya Structured Outputs yang memastikan pematuhan skema.

Adakah saya masih perlu mengesahkan output?

Ya. Balasan masih boleh menjadi penolakan atau terpotong oleh max_tokens, dan skema tidak dapat menyatakan setiap peraturan perniagaan, seperti jumlah yang mesti sama dengan hasil tambah item baris.

Patutkah saya menggunakan output berstruktur atau tool calling?

Gunakan output berstruktur apabila anda mahu jawapan akhir dalam bentuk tetap. Gunakan tool calling apabila model perlu meminta kod anda melakukan sesuatu dan kemudian meneruskan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity