Model penaakulan berfikir sebelum menjawab, dan pada kebanyakan API yang serasi OpenAI kedua-duanya diambil daripada satu bajet: max_tokens. Tetapkannya seperti untuk model bukan penaakulan, beberapa ratus token untuk jawapan pendek, dan sesetengah balasan akan kembali kosong dengan finish_reason: "length". Penyelesaian pantas ada dalam mengapa model penaakulan memulangkan jawapan kosong. Catatan ini ialah kaedah di sebalik bajet yang boleh anda percayai: ukur, tetapkan saiz daripada persentil, hormati tetingkap konteks, dan kendalikan balasan yang masih terpotong.
Untuk kos penaakulan dan cara mengurangkannya, lihat token penaakulan: mengapa anda membayar lebih banyak output daripada yang anda lihat.
Mengapakah bajet habis sebelum jawapan?
Model menjana mengikut urutan: penaakulannya dahulu, kemudian jawapan yang kelihatan. Setiap token kedua-duanya dikira dalam max_tokens. Dokumentasi BroadNet menyatakan perkara ini untuk DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B: “the reasoning counts toward max_tokens” (Terjemahan: penaakulan dikira dalam max_tokens), dan dengan had yang kecil “the answer comes back empty” (Terjemahan: jawapan kembali kosong). Rujukan OpenAI Chat Completions mentakrifkan max_completion_tokens dengan cara yang sama, sebagai had atas “including visible output tokens and reasoning tokens” (Terjemahan: termasuk token output yang kelihatan dan token penaakulan).
Jadi soalan yang perlu ditanya bukan “berapa panjang jawapan saya?” Soalannya ialah “berapa panjang penaakulan dan jawapan bersama-sama, untuk tugas ini, pada tahap effort ini?” Itu berbeza-beza lebih daripada yang dijangka. Panduan OpenAI menyatakan modelnya mungkin menjana “anywhere from a few hundred to tens of thousands of reasoning tokens” (Terjemahan: dari beberapa ratus hingga puluhan ribu token penaakulan), bergantung pada masalahnya.
Adakah max_tokens yang lebih besar lebih mahal?
Tidak. Inilah sebab paling biasa bajet ditetapkan terlalu ketat. max_tokens ialah siling. Anda dibil untuk token yang benar-benar dijana. Balasan yang memerlukan 1,800 token berkos sama dengan siling 4,000 atau 40,000.
Inilah kos sebenar siling yang ketat:
| Siling berbanding keperluan | Apa yang anda bayar | Apa yang anda dapat |
|---|---|---|
| Siling melebihi keperluan | Token yang dijana | Jawapan |
| Siling di bawah keperluan | Keseluruhan siling, semuanya penaakulan | Tiada yang boleh digunakan, ditambah cubaan semula |
Ambil satu ilustrasi. Andaikan suku daripada panggilan anda memerlukan lebih daripada 1,000 token. Dengan max_tokens=1000, setiap panggilan itu mengebil 1,000 token output pemikiran, tidak memulangkan apa-apa dan dicuba semula. Itu menambah 250 token output yang terbazir bagi setiap panggilan secara purata merentas semua panggilan, sebelum cubaan semula itu sendiri, ditambah kependaman permintaan kedua. Dengan siling 4,000, tiada yang terbazir. Pada Qwen3.8 27B, output berkos $2.17 setiap 1M token, jadi pembaziran bertambah pada jumlah besar.
Risiko sebenar siling yang tinggi ialah balasan yang terlepas kawalan: model yang berpusing atau berfikir berlebihan dan menjana jauh lebih banyak daripada yang perlu. Had mutlak mengawalnya. Pilih had itu daripada data, seperti di bawah.
Bagaimanakah mengukur keperluan sesuatu tugas?
Jalankan prompt sebenar untuk satu jenis tugas dengan siling yang longgar, dan rekodkan token completion serta bahagian penaakulan. Apabila model melaporkannya, usage.completion_tokens_details.reasoning_tokens memberi bahagian penaakulan; dokumentasi BroadNet menyenaraikan medan itu.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/qwen3.8-27b"
def measure(prompts, ceiling=16_000, **kw):
"""Run real prompts with a generous ceiling and return per-call token counts."""
rows = []
for p in prompts:
r = client.chat.completions.create(model=MODEL, max_tokens=ceiling,
messages=[{"role": "user", "content": p}], **kw)
u, d = r.usage, r.usage.completion_tokens_details
reasoning = (d.reasoning_tokens or 0) if d else 0
rows.append({"reasoning": reasoning, "answer": u.completion_tokens - reasoning,
"finish": r.choices[0].finish_reason})
return rows
def pct(values, q):
values = sorted(values)
return values[min(len(values) - 1, int(q * len(values)))]
def recommend(rows, margin=1.2):
total = [r["reasoning"] + r["answer"] for r in rows]
return {"p50": pct(total, 0.5), "p95": pct(total, 0.95), "max": max(total),
"max_tokens": int(pct(total, 0.95) * margin),
"cut_off": sum(r["finish"] == "length" for r in rows)}
# print(recommend(measure(my_prompts))) # default effort
# print(recommend(measure(my_prompts, reasoning_effort="low")))
Peraturan untuk angka yang boleh dipercayai:
- Satu jenis tugas setiap larian. Pengelasan, pengekstrakan, semakan kod dan perancangan mempunyai taburan yang sangat berbeza. Satu
max_tokensglobal sama ada membazir wang pada cubaan semula atau membiarkan balasan terlepas kawalan. - 50 atau lebih prompt sebenar. Persentil ke-95 daripada sepuluh sampel hanyalah sampel yang terbesar.
- Jalankan pada setiap tahap effort yang anda gunakan.
reasoning_effort="low"mengubah taburan. BroadNet mendokumenkanlow; uji nilai lain sebelum bergantung padanya. - Jika
cut_offbukan sifar, naikkan siling dan jalankan semula. Sampel yang terpotong menyembunyikan panjang sebenarnya. - Jalankan semula apabila model atau prompt berubah. Versi model baharu boleh berfikir lebih atau kurang.
Kemudian tetapkan max_tokens bagi setiap tugas daripada recommend(). Persentil ke-95 ditambah 20% membiarkan kebanyakan panggilan jauh di bawah siling dan hanya menghantar panggilan panjang yang jarang ke laluan cubaan semula di bawah. Alat bajet token penaakulan percuma melakukan pengiraan ini dalam pelayar anda sebaik sahaja anda mempunyai angka anda.
Bagaimanakah tetingkap konteks mengehadkan bajet?
Tetingkap konteks memuatkan prompt dan jawapan bersama-sama. Suapan harga BroadNet mentakrifkan context_length sebagai “the most tokens one request can hold, prompt and answer together” (Terjemahan: token paling banyak yang boleh dimuatkan oleh satu permintaan, prompt dan jawapan bersama-sama). Jadi:
max_tokens ≤ panjang konteks − token prompt
| Model | Konteks | Ruang untuk max_tokens dengan prompt 200,000 token |
|---|---|---|
| GLM 5.3 | 1,048,576 | 848,576 |
| DeepSeek V4.1 Flash | 1,048,576 | 848,576 |
| Qwen3.8 27B | 262,144 | 62,144 |
Ini penting untuk kerja konteks panjang. Ejen yang sejarahnya telah berkembang kepada 250,000 token pada Qwen3.8 27B hanya mempunyai kira-kira 12,000 token lagi untuk pemikiran dan jawapan. Tugas konteks panjang juga cenderung memerlukan lebih banyak penaakulan, jadi semak ruang yang tinggal pada saat panggilan, bukan sekali sahaja semasa permulaan. Tetingkap konteks dan kalkulator tetingkap konteks merangkumi kesesuaiannya.
Apakah yang perlu dilakukan apabila balasan masih terpotong?
Semak finish_reason pada setiap panggilan. Jika nilainya length, jawapan hilang atau tidak lengkap, walaupun content ada sedikit teks. Jangan huraikannya seolah-olah lengkap; objek JSON yang terpotong ialah punca biasa ralat di peringkat seterusnya (output berstruktur).
Cuba semula dengan bajet berganda, dalam ruang yang dibenarkan konteks, sehingga had mutlak:
import json, urllib.request
FEED = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
CONTEXT = {m["id"]: m.get("context_length") for m in FEED["models"]}
def ask(model, messages, budget=4_000, hard_cap=32_000, **kw):
"""Retry a cut-off reply with a doubled budget, never past the cap or the context window."""
while True:
r = client.chat.completions.create(model=model, messages=messages,
max_tokens=budget, **kw)
if r.choices[0].finish_reason != "length":
return r
room = CONTEXT[model] - r.usage.prompt_tokens # context holds prompt + answer
nxt = min(budget * 2, hard_cap, room)
if nxt <= budget:
raise RuntimeError(f"still cut off at max_tokens={budget}")
print(f"cut off at {budget}, retrying with {nxt}")
budget = nxt
Dua alternatif kepada penggandaan, bergantung pada tugas:
- Cuba semula pada
reasoning_effort="low"dengan bajet yang sama. Untuk tugas mudah, model sering berfikir berlebihan, dan effort yang lebih rendah menyelesaikannya tanpa siling yang lebih besar. - Pecahkan tugas. Jika satu balasan terus mencecah had yang tinggi, permintaan itu biasanya meminta terlalu banyak sekali gus.
Log setiap potongan bersama jenis tugas. Kadar yang meningkat bermakna prompt, model atau data input telah berubah, dan bajet perlu diukur semula. Cubaan semula ialah inferens baharu dan dibil semula, jadi hadkan bilangan cubaan, seperti dalam ejen berjalan lama: tamat masa dan cubaan semula.
Bagaimanakah penstriman mengubah gambarannya?
Dengan stream=True, penaakulan berlaku sebelum token pertama yang kelihatan, jadi model penaakulan boleh kelihatan tersekat pada permulaan. Dalam UI chat, paparkan keadaan “berfikir” sehingga kandungan tiba, dan tetapkan tamat masa klien untuk masa berfikir, bukan hanya untuk jawapan.
Sesetengah pelayan juga menstrim teks penaakulan itu sendiri, dalam medan berasingan. Namanya tidak standard: API DeepSeek sendiri menggunakan reasoning_content, dan vLLM menamakan semula medannya daripada reasoning_content kepada reasoning, dengan amaran bahawa kod klien lama “could silently read an empty” field (Terjemahan: boleh secara senyap membaca medan yang kosong). Dokumentasi BroadNet tidak mendokumenkan medan teks penaakulan, jadi jangan bina ciri di atasnya tanpa menyemak respons mentah untuk model anda. Jika anda membacanya, baca dengan berhati-hati:
for chunk in stream:
if chunk.choices:
delta = chunk.choices[0].delta
thinking = getattr(delta, "reasoning", None) or getattr(delta, "reasoning_content", None)
# log or display `thinking` only if your provider actually sends it
if delta.content:
print(delta.content, end="")
elif chunk.usage: # last chunk, with include_usage
print("\nreasoning tokens:", getattr(chunk.usage.completion_tokens_details, "reasoning_tokens", None))
Penggunaan (usage) dalam cebisan terakhir memerlukan stream_options={"include_usage": True}, yang didokumenkan oleh BroadNet. Lebih lanjut tentang strim dalam panduan penstriman dan penjelasan SSE.
Nama parameter manakah yang patut anda hantar?
| API | Parameter | Termasuk penaakulan |
|---|---|---|
| OpenAI Chat Completions | max_completion_tokens (max_tokens tidak digunakan lagi) |
Ya |
| OpenAI Responses | max_output_tokens |
Ya |
| BroadNet Inference (Chat Completions) | max_tokens, seperti yang didokumenkan |
Ya |
| Pelayan vLLM | max_tokens, ditambah thinking_token_budget pilihan |
Ya |
Apabila memindahkan kod antara penyedia, hantar nama yang didokumenkan oleh penyedia, dan sahkan dengan satu panggilan ujian bahawa had itu berkesan. Had yang diabaikan secara senyap kelihatan baik sehingga balasan terlepas kawalan tiba. Senarai semak migrasi merangkumi parameter lain yang berubah.
Di mana BroadNet Inference sesuai
Tiga model penaakulan BroadNet melaporkan token penaakulan dalam usage apabila model menyediakannya, jadi pengukuran di atas berfungsi seperti yang ditulis. DeepSeek V4.1 Flash dan GLM 5.3 memberi ruang paling banyak, dengan konteks 1,048,576 token. Qwen3.8 27B mempunyai 262,144. Jika anda tidak memerlukan penaakulan untuk sesuatu tugas, Gemma 4 VL 26B tidak disenaraikan sebagai model penaakulan dan mengelakkan persoalan bajet sama sekali. Pada pelan DeepSeek V4.1 Flash kadar tetap, token pemikiran tidak dikenakan caj setiap token, tetapi balasan terpotong masih berkos masa, jadi kaedah bajet yang sama terpakai. BroadNet tidak mendokumenkan had penaakulan berasingan; jika anda memerlukannya, gunakan penyedia atau pelayan hos sendiri yang menawarkannya.
