“हम इसे ख़ुद चलाकर पैसे बचाएँगे” LLM लागत की योजना में सबसे आम दावों में से है, और सबसे कम जाँचे जाने वाले दावों में से भी। हिसाब कठिन नहीं है। इसमें एक चर है जिसका अंदाज़ा लोग ग़लत लगाते हैं (उपयोग दर) और एक लागत है जिसे वे छोड़ देते हैं (लोग)। यह पोस्ट फ़ॉर्मूला, किराए की असली कीमतें, और अपनी संख्याओं से इसे चलाने का तरीक़ा देती है।
अभी GPU किराए पर लेने में कितना ख़र्च आता है?
आधिकारिक प्राइसिंग पेजों से घंटे की कीमतें, 2026-11-14 (RunPod) और 2026-11-16 (Lambda) को ली गईं। यहाँ एक महीना 730 घंटे का माना गया है।
| GPU | प्रोवाइडर और टियर (2026-11-14 को देखा गया) | प्रति GPU-घंटा | प्रति माह, हमेशा चालू |
|---|---|---|---|
| H100 SXM | RunPod Secure Cloud | USD 4.39 | लगभग USD 3,205 |
| H100 SXM | RunPod Community Cloud | USD 2.69 | लगभग USD 1,964 |
| H100 PCIe | RunPod Secure Cloud | USD 2.89 | लगभग USD 2,110 |
| H200 | RunPod Secure Cloud | USD 5.29 | लगभग USD 3,862 |
| A100 80GB SXM | RunPod Secure Cloud | USD 2.19 | लगभग USD 1,599 |
| L40S | RunPod Secure Cloud | USD 1.09 | लगभग USD 796 |
| H100 SXM | Lambda on-demand, 1 से 8 GPU (2026-11-16 से लागू; 2026-11-16 को जाँचा गया) | USD 4.59 से 4.89 | लगभग USD 3,351 से 3,570 |
Lambda का पेज (2026-11-16 को जाँचा गया) कहता है कि ये कीमतें 2026-11-16 को 00:00 UTC से लागू हैं; नोड बड़ा होने पर प्रति GPU दर घटती है, 8-GPU नोड पर USD 4.59 तक। RunPod की Community Cloud दरें “from” (से शुरू) वाली कीमतें हैं, जो होस्ट के हिसाब से बदलती हैं। Secure और Community Cloud होस्टिंग के अलग टियर हैं, इसलिए अगर डेटा सँभालने के आपके नियम हैं तो टियर की शर्तें पढ़ें। कई मॉडल को एक से ज़्यादा GPU चाहिए: Secure Cloud दर पर 8-GPU H100 नोड महीने में लगभग USD 25,638 का पड़ता है।
सेल्फ़-होस्टेड लागत प्रति मिलियन टोकन कैसे निकालें?
GPU जिन अनुरोधों को एक साथ बैच कर रहा है, उन सबको मिलाकर किसी कुल दर पर टोकन बनाता है। आपकी प्रति टोकन लागत, घंटे की कीमत को उसके असल में बनाए गए टोकन पर फैलाने से मिलती है:
प्रति 1M टोकन लागत = घंटे की कीमत ÷ (कुल टोकन प्रति सेकंड × 3,600 ÷ 1,000,000) ÷ उपयोग दर
उपयोग दर उन घंटों का हिस्सा है जिनमें GPU उस दर पर उपयोगी काम कर रहा है। मानी गई संख्याओं के साथ एक उदाहरण (यह बेंचमार्क नहीं है: अपना मॉडल ख़ुद मापें):
- GPU: Community Cloud पर एक H100 SXM, USD 2.69 प्रति घंटा।
- मान लिया गया कुल आउटपुट: अच्छी बैचिंग के साथ प्रति सेकंड 1,500 टोकन।
- पूरे लोड पर प्रति घंटे टोकन: 1,500 × 3,600 = 54 लाख (5.4M)।
| उपयोग दर | प्रति घंटे प्रभावी टोकन | प्रति 1M आउटपुट टोकन लागत |
|---|---|---|
| 100% (हमेशा पूरा भरा) | 5.4M | USD 0.50 |
| 50% | 2.7M | USD 1.00 |
| 25% (सिर्फ़ कामकाजी घंटों में व्यस्त) | 1.35M | USD 1.99 |
| 10% (उतार-चढ़ाव वाला प्रोडक्ट ट्रैफ़िक) | 0.54M | USD 4.98 |
अब इसकी तुलना API की प्रति 1M आउटपुट टोकन कीमत से करें। LLM API प्राइसिंग टेबल दिखाती है कि दर्जनों होस्ट उन्हीं ओपन वेट के लिए क्या लेते हैं; BroadNet Inference पर DeepSeek V4.1 Flash प्रति 1M आउटपुट टोकन $0.52 का है और Gemma 4 VL 26B $0.22 का। वह पंक्ति ढूँढें जहाँ आपकी सेल्फ़-होस्टेड लागत API की कीमत से नीचे आ जाती है: वही आपकी ब्रेक-ईवन उपयोग दर है। उदाहरण इनपुट टोकन को नज़रअंदाज़ करता है, जो भी GPU का समय लेते हैं (prefill), इसलिए असली सेल्फ़-होस्टेड लागत टेबल से ज़्यादा होती है।
ब्रेक-ईवन के लिए हर महीने कितने टोकन चाहिए?
इसे उलटकर देखें। चालू छोड़ा गया GPU हर हाल में अपनी मासिक कीमत लेता है। API की लागत है टोकन × कीमत। ब्रेक-ईवन वॉल्यूम:
ब्रेक-ईवन के लिए मासिक टोकन = GPU की मासिक लागत ÷ API की प्रति 1M टोकन कीमत × 1,000,000
Community Cloud के एक H100 (लगभग USD 1,964 प्रति माह) की तुलना $0.52 प्रति 1M आउटपुट कीमत से करनी हो, तो 1,964 को उस कीमत से भाग दें: इससे वे मिलियन आउटपुट टोकन प्रति माह मिलते हैं जिनकी जगह लेने के बाद ही GPU अपनी कीमत वसूल करता है। अगर आपका वर्कलोड इनपुट-भारी है, जैसा एजेंट का आम तौर पर होता है, तो यही हिसाब इनपुट और आउटपुट की मिली-जुली कीमत से करें; फ़्लैट रेट बनाम प्रति टोकन वाली पोस्ट दिखाती है कि दोनों को कैसे मिलाएँ।
और उस GPU को असल में मॉडल सर्व करना होगा। अगर मॉडल को चार GPU चाहिए, तो भाग देने से पहले मासिक लागत को चार से गुणा करें।
लोग कौन-सी लागतें छोड़ देते हैं?
| लागत | इसमें क्या आता है | इसे कैसे गिनें |
|---|---|---|
| इंजीनियरिंग सेटअप | सर्विंग इंजन, quantization का चुनाव, ऑटोस्केलिंग, लोड टेस्ट | एक बार के घंटे × आपकी दर |
| लगातार ऑपरेशन | अपग्रेड, ड्राइवर और इंजन अपडेट, मॉडल रीफ़्रेश | हर महीने के घंटे × आपकी दर |
| ऑन-कॉल | नोड बंद होने पर किसी को जागना पड़ता है | आपकी ऑन-कॉल नीति |
| रिडंडेंसी | दूसरा नोड, ताकि एक ख़राबी आउटेज न बने | GPU वाली लाइन दोगुनी |
| ख़ाली अतिरिक्त क्षमता | पीक के लिए क्षमता जिसे चालू रखना पड़ता है | उपयोग दर घटाती है |
| इवैल्युएशन | बदलने से पहले नए मॉडल वर्ज़न की जाँच | हर रिलीज़ पर घंटे |
रिडंडेंसी वह लागत है जो जवाब को सबसे ज़्यादा बदलती है। एक GPU विफलता का इकलौता बिंदु है। दो GPU रातोंरात आपकी उपयोग दर आधी कर देते हैं। हर अपग्रेड के साथ आने वाले eval काम के लिए बदलने से पहले मॉडल का इवैल्युएशन देखें।
सेल्फ़-होस्टिंग कब सही फ़ैसला है?
- स्थिर, ऊँचा वॉल्यूम। बैच पाइपलाइन जो GPU को चौबीसों घंटे पूरा व्यस्त रखती हैं।
- डेटा को आपके नेटवर्क के अंदर ही रहना है। यह सख़्त ज़रूरत है, लागत का तर्क नहीं। पहले जाँचें कि ज़ीरो डेटा रिटेंशन वाला कोई API आपके नियमों पर खरा उतरता है या नहीं।
- ऐसा मॉडल जो कोई API नहीं देता। आपका अपना फ़ाइन-ट्यून या कोई ख़ास ओपन-वेट मॉडल।
- गारंटीड क्षमता। आपको इतना थ्रूपुट चाहिए जो API की रेट लिमिट नहीं देंगी।
बाक़ी सब के लिए, ख़ासकर उतार-चढ़ाव वाले ट्रैफ़िक, शुरुआती प्रोडक्ट और रुक-रुककर चलने वाले एजेंट के लिए, API सस्ता है और उसमें ऑन-कॉल रोस्टर नहीं चाहिए।
क्या GPU और प्रति टोकन बिलिंग के बीच फ़्लैट कीमत वाले विकल्प हैं?
GPU किराए पर लेने और प्रति टोकन भुगतान के बीच एक बीच का रास्ता है। BroadNet, Gemma 4 VL 26B के लिए $0.50 प्रति घंटा की घंटे वाली key बेचता है (एक स्ट्रीम, प्रति मिनट 120 अनुरोध, प्रति मिनट 300,000 टोकन), जो पूरा महीना चलाने पर $360.00 होती है। यह DeepSeek V4.1 Flash के लिए $60 प्रति माह पर अनलिमिटेड प्लान सेशन भी बेचता है, जिनमें से हर एक लगभग 100 टोकन प्रति सेकंड पर एक समय में एक अनुरोध चलाता है। इनसे किराए के GPU की तरह अनुमान लगाने लायक बिल मिलता है, बिना सेटअप या ऑपरेशन के, लेकिन पूरे GPU की बैच क्षमता के बजाय हर key या सेशन पर तय कॉन्करेंसी के साथ।
BroadNet Inference कहाँ फ़िट होता है
इस तुलना में BroadNet Inference, API वाला पक्ष है: ओपन-वेट मॉडल के लिए प्रति टोकन कीमतें, फ़्लैट प्लान और घंटे वाली key, एक OpenAI-compatible API के पीछे; इनमें से कुछ मॉडल अमेरिकी इन्फ़रेंस पार्टनर होस्ट करते हैं। यह उन टीमों के लिए ठीक है जिनके ट्रैफ़िक में किराए का GPU दिन का बड़ा हिस्सा ख़ाली रहता, या जो इन्फ़रेंस इंफ़्रास्ट्रक्चर ख़ुद नहीं चलाना चाहतीं। अगर आपको कस्टम फ़ाइन-ट्यून सर्व करवाना है, ऑन-प्रिमाइसेस डिप्लॉयमेंट चाहिए, या एक key पर सैकड़ों समानांतर अनुरोध चाहिए, तो यह ठीक नहीं बैठता। अपनी संख्याएँ LLM API कॉस्ट कैलकुलेटर में डालें और ऊपर की टेबल से तुलना करें। अगर आप अभी ओपन और क्लोज़्ड मॉडल के बीच चुन रहे हैं, तो ओपन-वेट बनाम क्लोज़्ड मॉडल API लागत हर प्रोवाइडर के अपने पेज से प्रति टोकन कीमतों की तुलना करती है। सेल्फ़-होस्टिंग बनाम API कैलकुलेटर आपके मापे गए थ्रूपुट और इन GPU कीमतों से पूरा ब्रेक-ईवन निकाल देता है।
