max_tokens एक जवाब का आउटपुट बजट है। यह बेक़ाबू लंबे जवाबों से बचाता है, लेकिन बहुत कम रखा जाए तो जवाब कट जाते हैं या कुछ भी नहीं लौटता।
यह कैसे काम करता है
मॉडल एक बार में एक टोकन बनाता है। गिनती max_tokens तक पहुँचते ही जनरेशन रुक जाता है, चाहे वाक्य अधूरा हो। फिर जवाब बताता है कि वह क्यों ख़त्म हुआ:
finish_reason |
मतलब |
|---|---|
stop |
मॉडल ने अपने-आप जवाब पूरा किया |
length |
max_tokens की सीमा पूरी हो गई |
tool_calls |
मॉडल कोई टूल कॉल करना चाहता है |
इस पैरामीटर के कई नाम हैं। OpenAI का Chat Completions API अब max_tokens को deprecated बताता है और उसकी जगह max_completion_tokens देता है, एक ऊपरी सीमा जिसमें दिखने वाला आउटपुट और रीज़निंग टोकन दोनों शामिल हैं। OpenAI का Responses API max_output_tokens इस्तेमाल करता है। Anthropic का Messages API max_tokens इस्तेमाल करता है। कई OpenAI-कम्पैटिबल प्रोवाइडर max_tokens स्वीकार करते हैं।
प्रॉम्प्ट और आउटपुट एक ही कॉन्टेक्स्ट विंडो शेयर करते हैं। अगर विंडो 32,768 टोकन की है और प्रॉम्प्ट 30,000 का, तो ज़्यादा से ज़्यादा 2,768 टोकन लौट सकते हैं, max_tokens चाहे जो कहे।
यह क्यों मायने रखता है
- लागत पर नियंत्रण. प्रति-टोकन वाली key पर
max_tokensबताता है कि एक जवाब का आउटपुट ज़्यादा से ज़्यादा कितने का होगा। - ख़ाली जवाब. रीज़निंग मॉडल पर सोचने का हिस्सा भी इसी बजट से जाता है। 100 की सीमा पूरी की पूरी रीज़निंग टोकन में ख़र्च हो सकती है, तब दिखने वाला जवाब ख़ाली रहता है और
finish_reasonहोता हैlength। - टूटा हुआ JSON. कटा हुआ जवाब स्ट्रक्चर्ड आउटपुट को अधूरा और पार्स न होने लायक छोड़ देता है। पार्स करने से पहले
finish_reasonदेखें।
BroadNet Inference पर
DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब देने से पहले रीज़निंग करते हैं, और BroadNet के डॉक्स कहते हैं कि रीज़निंग max_tokens में गिनी जाती है। 1,000 या ज़्यादा टोकन की गुंजाइश दें, इसे सेट न करें, या reasoning_effort घटाएँ। नीचे का कोड finish_reason के length होने पर बताता है कि जवाब कट गया:
response = client.chat.completions.create(
model="broadnet/glm-5.3",
max_tokens=2000,
messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
print("Cut off: raise max_tokens or lower reasoning_effort")
कॉन्टेक्स्ट साइज़ मॉडल के हिसाब से अलग हैं: DeepSeek V4.1 Flash और GLM 5.3 के लिए 1,048,576 टोकन, Qwen3.8 27B के लिए 262,144 और BroadNet Gemma 4 VL 26B के लिए 32,768। मॉडल पेज और रीज़निंग मॉडल ख़ाली जवाब क्यों लौटाते हैं देखें।
आम ग़लतियाँ
- माइग्रेशन के दौरान किसी नॉन-रीज़निंग मॉडल की छोटी सीमा कॉपी कर लेना। माइग्रेशन चेकलिस्ट देखें।
lengthको सफलता मान लेना। इसे लॉग करें और ज़्यादा गुंजाइश के साथ रीट्राई करें।