BroadRouter

इनपुट और आउटपुट टोकन (input and output tokens)

अपडेट किया गया

इनपुट टोकन वे टोकन हैं जिन्हें लैंग्वेज मॉडल किसी अनुरोध में पढ़ता है, जिनमें सिस्टम प्रॉम्प्ट, बातचीत का इतिहास, टूल डेफ़िनिशन और इमेज शामिल हैं। आउटपुट टोकन वे हैं जो वह जवाब में बनाता है, रीज़निंग समेत। LLM API आम तौर पर दोनों की कीमत अलग रखते हैं, और आउटपुट आम तौर पर महँगा होता है।

अन्य नाम: इनपुट टोकन, आउटपुट टोकन, प्रॉम्प्ट टोकन, input output token kya hai, prompt tokens, completion tokens, input tokens, output tokens

हर LLM अनुरोध के दो पहलू होते हैं: जो आप भेजते हैं और जो वापस आता है। API दोनों को टोकन में गिनते हैं, और ज़्यादातर दोनों का बिल अलग-अलग दरों पर बनाते हैं।

यह कैसे काम करता है

इनपुट अनुरोध की हर चीज़ है: सिस्टम प्रॉम्प्ट, पिछला हर मैसेज, टूल डेफ़िनिशन, टूल के नतीजे, डॉक्यूमेंट और इमेज। मल्टी-टर्न चैट हर टर्न में पूरा इतिहास दोबारा भेजती है, इसलिए इनपुट बातचीत के साथ बढ़ता है।

आउटपुट वह सब है जो मॉडल बनाता है: दिखने वाला जवाब, टूल कॉल और, रीज़निंग मॉडल में, छिपे हुए रीज़निंग टोकन।

usage ब्लॉक दोनों बताता है:

"usage": {
  "prompt_tokens": 18000,
  "completion_tokens": 900,
  "prompt_tokens_details": { "cached_tokens": 15000 },
  "completion_tokens_details": { "reasoning_tokens": 600 }
}

एक अनुरोध की लागत है:

(new input × input price) + (cached input × cached price) + (output × output price), यानी (नया इनपुट × इनपुट कीमत) + (कैश्ड इनपुट × कैश्ड कीमत) + (आउटपुट × आउटपुट कीमत), जहाँ हर कीमत प्रति 10 लाख (1M) टोकन है।

यह क्यों मायने रखता है

दोनों का अनुपात तय करता है कि कौन-सी कीमत ज़्यादा अहम है। चैट असिस्टेंट छोटे सवाल पर कुछ सौ टोकन बना सकता है। कोडिंग एजेंट हर टर्न में रिपॉज़िटरी का बड़ा कॉन्टेक्स्ट दोबारा भेजता है और छोटा पैच लिखता है, इसलिए इनपुट, आउटपुट से 20 गुना या उससे भी ज़्यादा हो सकता है। एजेंट के लिए इनपुट कीमत और कैश्ड इनपुट की कीमत ही बिल का बड़ा हिस्सा तय करती हैं।

आउटपुट पर फिर भी नज़र रखनी चाहिए। रीज़निंग मॉडल जवाब देने से ज़्यादा टोकन सोचने पर ख़र्च कर सकते हैं, और उनका बिल आउटपुट के रूप में बनता है। हम जिन मॉडलों को ट्रैक करते हैं, उनमें आउटपुट और इनपुट कीमत का आम अनुपात LLM API प्राइस इंडेक्स में है।

BroadNet Inference पर

प्रकाशित प्राइस फ़ाइल से, प्रति 10 लाख टोकन:

मॉडल इनपुट कैश्ड इनपुट आउटपुट
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17
BroadNet Gemma 4 VL 26B $0.10 — $0.22

BroadNet के एक उदाहरण में एक फ़ुल-टाइम कोडिंग एजेंट महीने में 1,000 मिलियन (100 करोड़) इनपुट टोकन भेजता है, 80% कैश हिट के साथ, और 50 मिलियन (5 करोड़) आउटपुट टोकन वापस पाता है। DeepSeek V4.1 Flash पर प्रति टोकन के हिसाब से इसकी लागत $65.40 है। फ़्लैट-रेट प्लान मीटर हटा देता है: Full Moon प्रति सेशन $60 प्रति महीना है। अपनी संख्याओं की तुलना प्राइसिंग कैलकुलेटर में करें या फ़्लैट रेट बनाम प्रति टोकन भुगतान पढ़ें।

आम ग़लतियाँ

  • सिर्फ़ दिखने वाले जवाब की कीमत आँकना और रीज़निंग टोकन भूल जाना।
  • इतिहास कितनी तेज़ी से बढ़ता है, इसे अनदेखा करना। चैट के 30वें टर्न में 30 टर्न का इनपुट हो सकता है।

अक्सर पूछे जाने वाले सवाल

प्रॉम्प्ट टोकन और इनपुट टोकन में क्या फ़र्क़ है?

कोई फ़र्क़ नहीं। Chat Completions फ़ॉर्मैट इन्हें prompt_tokens और completion_tokens कहता है। नए API, जैसे OpenAI का Responses API और Anthropic का Messages API, इन्हें input_tokens और output_tokens कहते हैं।

आउटपुट टोकन इनपुट से महँगे क्यों होते हैं?

मॉडल पूरा प्रॉम्प्ट एक ही पैरेलल पास में पढ़ लेता है, लेकिन आउटपुट एक-एक टोकन करके बनाता है, इसलिए हर आउटपुट टोकन में GPU का ज़्यादा समय लगता है।

क्या टूल डेफ़िनिशन का भी बिल बनता है?

हाँ। टूल स्कीमा और टूल के नतीजे प्रॉम्प्ट का हिस्सा हैं, इसलिए जिस भी अनुरोध में वे हों, उसमें वे इनपुट टोकन हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें