BroadRouter

रीज़निंग मॉडल ख़ाली जवाब क्यों लौटाता है

अपडेट किया गया

मॉडल ने दिखने वाला जवाब शुरू करने से पहले पूरा max_tokens बजट रीज़निंग पर ख़र्च कर दिया। BroadNet Inference पर DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B पहले रीज़निंग करते हैं, और रीज़निंग max_tokens में गिनी जाती है। 1,000 या उससे ज़्यादा टोकन दें, या reasoning_effort को low पर सेट करें।

आप max_tokens: 100 के साथ एक छोटा प्रॉम्प्ट भेजते हैं, अनुरोध सफल होता है, और choices[0].message.content ख़ाली है। कुछ टूटा नहीं है: जवाब कभी शुरू ही नहीं हुआ।

होता क्या है

रीज़निंग मॉडल दिखने वाले जवाब से पहले एक छिपी हुई सोच (chain of thought) लिखते हैं। दोनों एक ही max_tokens बजट बाँटते हैं। सीमा छोटी हो, तो रीज़निंग पूरा बजट खा जाती है, और स्टैंडर्ड chat-completions ढाँचे में तब finish_reason की वैल्यू length होती है।

तीन समाधान

1. जगह छोड़ें। BroadNet के डॉक्स की सलाह के अनुसार max_tokens को 1,000 या उससे ज़्यादा रखें। रीज़निंग मॉडल के लिए max_tokens कैलकुलेटर आपके जवाब की लंबाई के हिसाब से सीमा तय करता है और लागत दिखाता है।

2. कम रीज़निंग करवाएँ। आसान कामों के लिए reasoning_effort को low पर सेट करें:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. usage पर नज़र रखें। जब मॉडल इसे रिपोर्ट करता है, तो usage.completion_tokens_details.reasoning_tokens बताता है कि कितना रीज़निंग में गया:

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

स्ट्रीम में stream_options={"include_usage": True} जोड़ें, वही usage आख़िरी chunk में आता है। स्ट्रीमिंग chat completions देखें।

कौन-से मॉडल रीज़निंग करते हैं

मॉडल पहले रीज़निंग करता है
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) हाँ
GLM 5.3 (broadnet/glm-5.3) हाँ
Qwen3.8 27B (broadnet/qwen3.8-27b) हाँ
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) सूचीबद्ध नहीं

समस्या का समाधान

  • content ख़ाली, finish_reason है length. max_tokens बढ़ाएँ या reasoning_effort को low पर सेट करें।
  • content ख़ाली, finish_reason है stop. वजह सीमा नहीं थी। अपना प्रॉम्प्ट जाँचें और पूरा जवाब प्रिंट करके देखें कि क्या लौटा।
  • completion_tokens_details पर AttributeError. मॉडल ने उस अनुरोध के लिए ब्रेकडाउन रिपोर्ट नहीं किया; ऊपर के उदाहरण की तरह None की जाँच रखें।
  • स्ट्रीम में पहला टोकन देर से आता है। मॉडल जवाब लिखने से पहले रीज़निंग कर रहा है। कम reasoning_effort से इंतज़ार घट सकता है।

अगर आप दिन भर एजेंट चलाते हैं, तो उपयोग के अनुसार भुगतान में रीज़निंग टोकन जुड़ते जाते हैं। BroadNet प्राइसिंग कैलकुलेटर दिखाता है कि कब एक फ़्लैट अनलिमिटेड प्लान सस्ता पड़ता है।

अक्सर पूछे जाने वाले सवाल

क्या रीज़निंग के पैसे लगते हैं?

उपयोग के अनुसार भुगतान में रीज़निंग completion टोकन के अंदर रिपोर्ट होती है, और उनका बिल आउटपुट की कीमत पर बनता है। DeepSeek V4.1 Flash के अनलिमिटेड प्लान पर कोई टोकन मीटर नहीं है, इसलिए उनका कोई अतिरिक्त ख़र्च नहीं।

क्या BroadNet Gemma 4 VL 26B रीज़निंग करता है?

BroadNet के डॉक्स रीज़निंग DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B के लिए सूचीबद्ध करते हैं, Gemma 4 VL 26B के लिए नहीं।

finish_reason length होने पर message content ख़ाली क्यों होता है?

दिखने वाला जवाब शुरू होने से पहले टोकन बजट ख़त्म हो गया। रीज़निंग मॉडल पहले अपनी रीज़निंग लिखता है, और वे टोकन max_tokens में गिने जाते हैं। max_tokens को 1,000 या उससे ज़्यादा करें, या reasoning_effort घटाएँ।

reasoning_effort low क्या करता है?

यह मॉडल से जवाब देने से पहले कम रीज़निंग करने को कहता है। जब छोटी सीमा की वजह से जवाब ख़ाली रह जाए, तो BroadNet के डॉक्स बड़े max_tokens के विकल्प के रूप में इसे सुझाते हैं। इसे क्लासिफ़िकेशन या एक्सट्रैक्शन जैसे आसान कामों के लिए इस्तेमाल करें।

कैसे देखूँ कि कितने टोकन रीज़निंग में गए?

जब मॉडल इसे रिपोर्ट करे, तो जवाब में usage.completion_tokens_details.reasoning_tokens पढ़ें। स्ट्रीम में stream_options के साथ include_usage true भेजें और इसे आख़िरी chunk से पढ़ें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें