BroadRouter

Kenapa model reasoning mengembalikan jawaban kosong

Diperbarui

Model menghabiskan seluruh anggaran max_tokens untuk bernalar sebelum mulai menulis jawaban yang terlihat. Di BroadNet Inference, DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar lebih dulu, dan penalaran ikut dihitung dalam max_tokens. Beri ruang 1.000 token atau lebih, atau atur reasoning_effort ke low.

Anda mengirim prompt pendek dengan max_tokens: 100, permintaannya berhasil, tetapi choices[0].message.content kosong. Tidak ada yang rusak: jawabannya memang belum sempat dimulai.

Apa yang terjadi

Model reasoning menulis rantai pemikiran tersembunyi sebelum jawaban yang terlihat. Keduanya berbagi satu anggaran max_tokens. Jika batasnya kecil, penalaran menghabiskan semuanya, dan dalam format chat completions standar finish_reason lalu bernilai length.

Tiga solusi

1. Beri ruang. Atur max_tokens ke 1.000 atau lebih, sesuai saran dokumentasi BroadNet. Kalkulator max_tokens untuk model reasoning menghitung batas untuk panjang jawaban Anda dan menampilkan biayanya.

2. Kurangi penalaran. Atur reasoning_effort ke low untuk tugas sederhana:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. Pantau usage. Jika model melaporkannya, usage.completion_tokens_details.reasoning_tokens menunjukkan berapa banyak yang terpakai untuk penalaran:

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

Pada streaming, tambahkan stream_options={"include_usage": True} dan usage yang sama akan datang di chunk terakhir. Lihat streaming chat completions.

Model mana yang bernalar

Model Bernalar lebih dulu
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) Ya
GLM 5.3 (broadnet/glm-5.3) Ya
Qwen3.8 27B (broadnet/qwen3.8-27b) Ya
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) Tidak dicantumkan

Pemecahan masalah

  • content kosong, finish_reason bernilai length. Naikkan max_tokens atau atur reasoning_effort ke low.
  • content kosong, finish_reason bernilai stop. Penyebabnya bukan batas token. Periksa prompt Anda dan cetak respons lengkapnya untuk melihat apa yang dikembalikan.
  • AttributeError pada completion_tokens_details. Model tidak melaporkan rinciannya untuk permintaan itu; tangani kemungkinan None seperti pada contoh di atas.
  • Token pertama lambat pada streaming. Model sedang bernalar sebelum menulis jawaban. reasoning_effort yang lebih rendah bisa mempersingkat tunggu.

Jika Anda menjalankan agen seharian, token reasoning menumpuk pada bayar sesuai pemakaian. Kalkulator harga BroadNet menunjukkan kapan paket unlimited dengan harga tetap jadi lebih murah.

Pertanyaan umum

Apakah penalaran model dikenai biaya?

Pada bayar sesuai pemakaian, penalaran dilaporkan di dalam completion tokens, yang ditagih dengan harga output. Pada paket unlimited untuk DeepSeek V4.1 Flash tidak ada meteran token, jadi tidak ada biaya tambahan.

Apakah BroadNet Gemma 4 VL 26B bernalar?

Dokumentasi BroadNet mencantumkan reasoning untuk DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B, tidak untuk Gemma 4 VL 26B.

Kenapa isi pesan kosong saat finish_reason bernilai length?

Anggaran token habis sebelum jawaban yang terlihat dimulai. Model reasoning menulis penalarannya lebih dulu, dan token itu ikut dihitung dalam max_tokens. Naikkan max_tokens ke 1.000 atau lebih, atau turunkan reasoning_effort.

Apa fungsi reasoning_effort low?

Opsi ini meminta model bernalar lebih sedikit sebelum menjawab. Dokumentasi BroadNet menyarankannya sebagai alternatif max_tokens yang lebih besar ketika batas yang pendek membuat jawaban kosong. Pakai untuk tugas sederhana seperti klasifikasi atau ekstraksi.

Bagaimana cara melihat berapa token yang dipakai untuk penalaran?

Baca usage.completion_tokens_details.reasoning_tokens di respons, jika model melaporkannya. Pada streaming, kirim stream_options dengan include_usage true lalu baca nilainya dari chunk terakhir.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity