Kode memerlukan input yang bisa diprediksi. Output terstruktur mengubah teks bebas dari model menjadi data yang bisa dipercaya program Anda.
Cara kerjanya
Ada tiga tingkat kontrol:
| Metode | Yang Anda dapatkan |
|---|---|
| Meminta lewat prompt | Biasanya JSON, kadang dengan teks tambahan atau field yang hilang |
| JSON mode | JSON valid, bentuk apa pun |
| Output terstruktur dengan skema | JSON yang sesuai skema Anda |
Dalam format OpenAI, JSON mode adalah response_format: {"type": "json_object"}. Output terstruktur mengirimkan skema:
"response_format": {
"type": "json_schema",
"json_schema": {
"name": "invoice",
"strict": true,
"schema": {
"type": "object",
"properties": {
"vendor": { "type": "string" },
"total": { "type": "number" }
},
"required": ["vendor", "total"],
"additionalProperties": false
}
}
}
Referensi OpenAI menyebut tipe json_schema “ensures the model will match your supplied JSON schema” (terjemahan: memastikan model akan sesuai dengan JSON schema yang Anda berikan). Banyak penyedia melakukannya dengan constrained decoding: membatasi token mana yang boleh dihasilkan model di setiap langkah, sehingga output yang melanggar skema tidak mungkin dihasilkan.
Kenapa ini penting
- Lebih sedikit error parsing. Pipeline ekstraksi, classifier, dan agen bisa membaca field secara langsung.
- Prompt lebih sederhana. Skema menggantikan instruksi format yang panjang.
- Bukan jaminan penuh. Panduan OpenAI menyebut aplikasi Anda tetap harus menangani penolakan, respons yang tidak lengkap, dan error. Balasan yang terpotong oleh
max_tokensadalah JSON rusak, apa pun isi skemanya.
Dukungannya berbeda-beda di antara API kompatibel OpenAI. Sebagian hanya menerima json_schema, sebagian hanya json_object, dan sebagian mengabaikan field tersebut. Periksa dulu sebelum mengandalkannya.
Di BroadNet Inference
Dokumentasi BroadNet mencantumkan output terstruktur untuk GLM 5.3 dan Qwen3.8 27B. Dokumentasinya tidak menyebut nama parameter permintaannya, jadi uji response_format pada model Anda, dan tetap gunakan parser JSON dengan penanganan error. Validator output JSON LLM menunjukkan di mana balasan rusak dan memeriksanya terhadap skema Anda. Kedua model bernalar terlebih dahulu, jadi beri ruang di max_tokens untuk proses berpikir ditambah JSON-nya.
Output terstruktur cocok dipadukan dengan model visi. Panduan faktur berbahasa Arab mengirim gambar dan meminta field-nya dalam bentuk JSON. Untuk tindakan alih-alih jawaban, gunakan tool calling.
Kesalahan umum
- Lupa
additionalProperties: false, atau tidak mencantumkan setiap field direquired, saat memakai strict mode. - Tidak memeriksa
finish_reasonsebelum mem-parse.