Anda menghantar prompt pendek dengan max_tokens: 100, permintaan berjaya, tetapi choices[0].message.content kosong. Tiada apa yang rosak: jawapan itu tidak pernah bermula.
Apa yang berlaku
Model penaakulan menulis rantaian pemikiran (chain of thought) tersembunyi sebelum jawapan yang kelihatan. Kedua-duanya berkongsi satu bajet max_tokens. Dengan had yang kecil, penaakulan menggunakan semuanya, dan dalam bentuk chat completions yang standard, finish_reason kemudiannya ialah length.
Tiga cara membaikinya
1. Beri ruang. Tetapkan max_tokens kepada 1,000 atau lebih, seperti yang dinasihatkan oleh dokumentasi BroadNet. Kalkulator max_tokens untuk model penaakulan menetapkan saiz had mengikut panjang jawapan anda dan menunjukkan kosnya.
2. Kurangkan penaakulan. Tetapkan reasoning_effort kepada low untuk tugas mudah:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
response = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)
3. Pantau usage. Apabila model melaporkannya, usage.completion_tokens_details.reasoning_tokens menunjukkan berapa banyak yang digunakan untuk penaakulan:
print(response.choices[0].finish_reason) # "length" means the budget ran out
details = response.usage.completion_tokens_details # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")
Dalam strim, tambah stream_options={"include_usage": True} dan usage yang sama tiba dalam chunk terakhir. Lihat strim chat completions.
Model mana yang membuat penaakulan
| Model | Membuat penaakulan dahulu |
|---|---|
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) |
Ya |
GLM 5.3 (broadnet/glm-5.3) |
Ya |
Qwen3.8 27B (broadnet/qwen3.8-27b) |
Ya |
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) |
Tidak disenaraikan |
Penyelesaian masalah
contentkosong,finish_reasonialahlength. Naikkanmax_tokensatau tetapkanreasoning_effortkepadalow.contentkosong,finish_reasonialahstop. Had bukan puncanya. Semak prompt anda dan cetak respons penuh untuk melihat apa yang dipulangkan.AttributeErrorpadacompletion_tokens_details. Model tidak melaporkan pecahan itu untuk permintaan tersebut; semak untukNoneseperti dalam contoh di atas.- Token pertama lambat dalam strim. Model sedang membuat penaakulan sebelum menulis jawapan.
reasoning_effortyang lebih rendah boleh memendekkan masa menunggu.
Jika anda menjalankan ejen sepanjang hari, token penaakulan bertambah pada bayar ikut guna. Kalkulator harga BroadNet menunjukkan bila pelan tanpa had kadar tetap lebih murah.
