آپ max_tokens: 100 کے ساتھ ایک مختصر پرامپٹ بھیجتے ہیں، درخواست کامیاب ہوتی ہے، اور choices[0].message.content خالی ہے۔ کچھ خراب نہیں ہوا: جواب کبھی شروع ہی نہیں ہوا۔
ہوتا کیا ہے
ریزننگ ماڈل نظر آنے والے جواب سے پہلے ایک چھپی ہوئی سوچ (chain of thought) لکھتے ہیں۔ دونوں ایک ہی max_tokens بجٹ میں شریک ہیں۔ حد چھوٹی ہو تو ریزننگ سارا بجٹ لے لیتی ہے، اور معیاری chat-completions ساخت میں تب finish_reason کی قدر length ہوتی ہے۔
تین حل
1. جگہ چھوڑیں۔ BroadNet کی دستاویزات کے مشورے کے مطابق max_tokens کو 1,000 یا اس سے زیادہ رکھیں۔ ریزننگ ماڈلز کے لیے max_tokens کیلکولیٹر آپ کے جواب کی لمبائی کے حساب سے حد طے کرتا ہے اور لاگت دکھاتا ہے۔
2. کم ریزننگ کروائیں۔ آسان کاموں کے لیے reasoning_effort کو low پر سیٹ کریں:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
response = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)
3. usage پر نظر رکھیں۔ جب ماڈل اسے رپورٹ کرتا ہے تو usage.completion_tokens_details.reasoning_tokens بتاتا ہے کہ کتنا ریزننگ میں گیا:
print(response.choices[0].finish_reason) # "length" means the budget ran out
details = response.usage.completion_tokens_details # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")
اسٹریم میں stream_options={"include_usage": True} شامل کریں، وہی usage آخری chunk میں آتا ہے۔ اسٹریمنگ chat completions دیکھیں۔
کون سے ماڈل ریزننگ کرتے ہیں
| ماڈل | پہلے ریزننگ کرتا ہے |
|---|---|
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) |
ہاں |
GLM 5.3 (broadnet/glm-5.3) |
ہاں |
Qwen3.8 27B (broadnet/qwen3.8-27b) |
ہاں |
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) |
درج نہیں |
مسائل کا حل
contentخالی،finish_reasonہےlength۔max_tokensبڑھائیں یاreasoning_effortکوlowپر سیٹ کریں۔contentخالی،finish_reasonہےstop۔ وجہ حد نہیں تھی۔ اپنا پرامپٹ جانچیں اور پورا جواب پرنٹ کر کے دیکھیں کہ کیا واپس آیا۔completion_tokens_detailsپرAttributeError۔ ماڈل نے اس درخواست کے لیے تفصیل رپورٹ نہیں کی؛ اوپر کی مثال کی طرحNoneکی جانچ رکھیں۔- اسٹریم میں پہلا ٹوکن دیر سے آتا ہے۔ ماڈل جواب لکھنے سے پہلے ریزننگ کر رہا ہے۔ کم
reasoning_effortانتظار گھٹا سکتا ہے۔
اگر آپ دن بھر ایجنٹس چلاتے ہیں تو استعمال کے مطابق ادائیگی میں ریزننگ ٹوکن جمع ہوتے جاتے ہیں۔ BroadNet پرائسنگ کیلکولیٹر دکھاتا ہے کہ کب ایک فلیٹ لامحدود پلان سستا پڑتا ہے۔
