Anda mengirim prompt pendek dengan max_tokens: 100, permintaannya berhasil, tetapi choices[0].message.content kosong. Tidak ada yang rusak: jawabannya memang belum sempat dimulai.
Apa yang terjadi
Model reasoning menulis rantai pemikiran tersembunyi sebelum jawaban yang terlihat. Keduanya berbagi satu anggaran max_tokens. Jika batasnya kecil, penalaran menghabiskan semuanya, dan dalam format chat completions standar finish_reason lalu bernilai length.
Tiga solusi
1. Beri ruang. Atur max_tokens ke 1.000 atau lebih, sesuai saran dokumentasi BroadNet. Kalkulator max_tokens untuk model reasoning menghitung batas untuk panjang jawaban Anda dan menampilkan biayanya.
2. Kurangi penalaran. Atur reasoning_effort ke low untuk tugas sederhana:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
response = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)
3. Pantau usage. Jika model melaporkannya, usage.completion_tokens_details.reasoning_tokens menunjukkan berapa banyak yang terpakai untuk penalaran:
print(response.choices[0].finish_reason) # "length" means the budget ran out
details = response.usage.completion_tokens_details # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")
Pada streaming, tambahkan stream_options={"include_usage": True} dan usage yang sama akan datang di chunk terakhir. Lihat streaming chat completions.
Model mana yang bernalar
| Model | Bernalar lebih dulu |
|---|---|
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) |
Ya |
GLM 5.3 (broadnet/glm-5.3) |
Ya |
Qwen3.8 27B (broadnet/qwen3.8-27b) |
Ya |
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) |
Tidak dicantumkan |
Pemecahan masalah
contentkosong,finish_reasonbernilailength. Naikkanmax_tokensatau aturreasoning_effortkelow.contentkosong,finish_reasonbernilaistop. Penyebabnya bukan batas token. Periksa prompt Anda dan cetak respons lengkapnya untuk melihat apa yang dikembalikan.AttributeErrorpadacompletion_tokens_details. Model tidak melaporkan rinciannya untuk permintaan itu; tangani kemungkinanNoneseperti pada contoh di atas.- Token pertama lambat pada streaming. Model sedang bernalar sebelum menulis jawaban.
reasoning_effortyang lebih rendah bisa mempersingkat tunggu.
Jika Anda menjalankan agen seharian, token reasoning menumpuk pada bayar sesuai pemakaian. Kalkulator harga BroadNet menunjukkan kapan paket unlimited dengan harga tetap jadi lebih murah.
