BroadRouter

Self-hosting ng LLM vs API: ang tunay na gastos at break-even

Ng BroadNet Inference team · 5 minutong basa · Nailathala · Na-update

Pareho ang singil kada oras ng nirentahang GPU, abala man o idle, kaya mas mura lang ang self-hosting kaysa API kapag mataas at tuloy-tuloy ang utilization. Hatiin ang presyo kada oras sa token na talagang nagagawa ng server kada oras, idagdag ang oras ng engineering at on-call, at ihambing sa presyo ng API kada 1M token. Para sa pabago-bago o katamtamang traffic, halos laging panalo ang API.

“Makakatipid tayo kung tayo na ang magpapatakbo nito” ang isa sa pinakakaraniwang sinasabi sa pagpaplano ng gastos sa LLM, at isa sa pinakabihirang suriin. Hindi mahirap ang math. May isa itong variable na madalas maling hulaan (utilization) at isang gastos na nakakaligtaan (tao). Ibinibigay ng post na ito ang formula, totoong presyo ng rental, at paraan para patakbuhin ito gamit ang sarili mong mga numero.

Magkano ang GPU rental ngayon?

Mga presyo kada oras mula sa opisyal na pricing page, kinuha noong 2026-11-14 (RunPod) at 2026-11-16 (Lambda). Ang isang buwan dito ay 730 oras.

GPU Provider at tier (sinuri noong 2026-11-14) Kada GPU-hour Kada buwan, laging naka-on
H100 SXM RunPod Secure Cloud USD 4.39 mga USD 3,205
H100 SXM RunPod Community Cloud USD 2.69 mga USD 1,964
H100 PCIe RunPod Secure Cloud USD 2.89 mga USD 2,110
H200 RunPod Secure Cloud USD 5.29 mga USD 3,862
A100 80GB SXM RunPod Secure Cloud USD 2.19 mga USD 1,599
L40S RunPod Secure Cloud USD 1.09 mga USD 796
H100 SXM Lambda on-demand, 1 hanggang 8 GPU (umiiral mula 2026-11-16; sinuri noong 2026-11-16) USD 4.59 hanggang 4.89 mga USD 3,351 hanggang 3,570

Sabi ng page ng Lambda (sinuri noong 2026-11-16), magkakabisa ang mga presyong ito sa 2026-11-16, 00:00 UTC; bumababa ang rate kada GPU habang lumalaki ang node, hanggang USD 4.59 sa 8-GPU node. Mga “from” (salin: mula sa) na presyo ang rate ng RunPod Community Cloud na nag-iiba ayon sa host. Magkaibang hosting tier ang Secure at Community Cloud, kaya basahin ang tuntunin ng tier kung may patakaran ka sa paghawak ng data. Maraming model ang nangangailangan ng higit sa isang GPU: mga USD 25,638 kada buwan ang 8-GPU H100 node sa rate ng Secure Cloud.

Paano kuwentahin ang gastos ng self-hosted kada milyong token?

Gumagawa ang GPU ng token sa isang aggregate na rate para sa lahat ng request na bina-batch nito. Ang gastos mo kada token ay ang presyo kada oras na ikinalat sa mga token na talagang nagagawa nito:

gastos kada 1M token = presyo kada oras ÷ (aggregate na tokens per second × 3,600 ÷ 1,000,000) ÷ utilization

Ang utilization ay ang bahagi ng mga oras na gumagawa ang GPU ng kapaki-pakinabang na trabaho sa rate na iyon. Isang halimbawa na may ipinagpalagay na mga numero (hindi ito benchmark: sukatin ang sarili mong model):

  • GPU: isang H100 SXM sa Community Cloud, USD 2.69 kada oras.
  • Ipinagpalagay na aggregate na output: 1,500 token kada segundo na may mahusay na batching.
  • Token kada oras sa full load: 1,500 × 3,600 = 5.4 milyon.
Utilization Epektibong token kada oras Gastos kada 1M output token
100% (laging puno) 5.4M USD 0.50
50% 2.7M USD 1.00
25% (abala lang sa oras ng opisina) 1.35M USD 1.99
10% (pabago-bagong traffic ng produkto) 0.54M USD 4.98

Ihambing ngayon sa presyo ng API kada 1M output token. Ipinapakita ng table ng presyo ng LLM API kung magkano ang singil ng dose-dosenang host para sa parehong open weights; sa BroadNet Inference, $0.52 kada 1M output token ang DeepSeek V4.1 Flash at $0.22 ang Gemma 4 VL 26B. Hanapin ang row kung saan bumababa ang gastos mo sa self-hosting sa ilalim ng presyo ng API: iyon ang break-even utilization mo. Hindi isinasama ng halimbawa ang mga input token, na kumakain din ng GPU time (prefill), kaya mas mataas ang tunay na gastos ng self-hosting kaysa sa ipinapakita ng table.

Ilang token kada buwan ang kailangan mo para mag-break even?

Baligtarin ito. Pareho ang buwanang presyo ng GPU na naiwang naka-on, anuman ang mangyari. Token × presyo ang gastos sa API. Ang break-even volume ay:

buwanang token para mag-break even = buwanang gastos ng GPU ÷ presyo ng API kada 1M token × 1,000,000

Para sa isang H100 sa Community Cloud (mga USD 1,964 kada buwan) laban sa presyong $0.52 kada 1M output token, hatiin ang 1,964 sa presyong iyon para makuha ang milyun-milyong output token kada buwan na kailangan mong palitan bago mabawi ng GPU ang gastos nito. Ganoon din ang gawin gamit ang pinagsamang presyo ng input at output kung mabigat sa input ang workload mo, gaya ng karaniwan sa mga agent; ipinapakita ng post tungkol sa flat-rate vs per-token kung paano pagsamahin ang mga ito.

At dapat talagang kaya ng GPU na iyon na i-serve ang model. Kung apat na GPU ang kailangan ng model, i-multiply muna sa apat ang buwanang gastos bago ka maghati.

Anong mga gastos ang nakakaligtaan?

Gastos Ano ang saklaw Paano bilangin
Engineering setup Serving engine, pagpili ng quantization, autoscaling, load test Isang beses na oras × rate mo
Tuloy-tuloy na ops Upgrade, update ng driver at engine, pag-refresh ng model Oras kada buwan × rate mo
On-call May gigising kapag namatay ang node Ang on-call policy mo
Redundancy Pangalawang node para hindi outage ang isang failure Dodoble ang linya ng GPU
Idle headroom Capacity para sa peak na kailangan mong panatilihing warm Pinabababa ang utilization
Evaluation Pagsuri sa bagong bersyon ng model bago lumipat Oras kada release

Ang redundancy ang pinakanagpapabago sa sagot. Single point of failure ang iisang GPU. Sa dalawang GPU, kalahati agad ang utilization mo. Tingnan ang pag-evaluate ng model bago lumipat para sa eval na kasama ng bawat upgrade.

Kailan tama ang self-hosting?

  • Tuloy-tuloy at mataas na volume. Mga batch pipeline na pinananatiling puno ang mga GPU araw at gabi.
  • Kailangang manatili ang data sa loob ng network mo. Mahigpit na requirement ito, hindi argumento sa gastos. Alamin muna kung pasok sa mga patakaran mo ang API na may zero data retention.
  • Model na walang API na nagse-serve. Sarili mong fine-tune o isang niche na open-weight model.
  • Garantisadong capacity. Kailangan mo ng throughput na hindi ibibigay ng rate limit ng isang API.

Para sa lahat ng iba pa, lalo na sa pabago-bagong traffic, mga bagong produkto at mga agent na tumatakbo nang paputol-putol, mas mura ang API at walang on-call rota.

May flat-price bang opsyon sa pagitan ng GPU at per-token billing?

May gitnang daan sa pagitan ng pagrenta ng GPU at pagbabayad kada token. Nagbebenta ang BroadNet ng hourly key para sa Gemma 4 VL 26B sa $0.50 kada oras (isang stream, 120 request kada minuto, 300,000 token kada minuto), na $360.00 kung patatakbuhin mo ito buong buwan. Nagbebenta rin ito ng unlimited na plan session para sa DeepSeek V4.1 Flash sa $60 kada buwan, at isang request sa bawat pagkakataon ang bawat isa sa mga 100 token bawat segundo. Nagbibigay ang mga ito ng predictable na bill gaya ng nirentahang GPU, nang walang setup o ops, pero may fixed na concurrency kada key o session sa halip na buong batch capacity ng isang GPU.

Saan bagay ang BroadNet Inference

Ang BroadNet Inference ang API side ng paghahambing na ito: per-token na presyo, flat plan at hourly key para sa mga open-weight model, ang ilan ay partner-hosted kasama ang mga inference partner sa US, sa likod ng OpenAI-compatible API. Bagay ito sa mga team na ang traffic ay mag-iiwan ng nirentahang GPU na idle sa malaking bahagi ng araw, o sa mga ayaw magpatakbo ng inference infrastructure. Hindi ito bagay kung kailangan mong i-serve ang custom fine-tune, ng on-premises na deployment, o ng daan-daang parallel na request sa iisang key. Patakbuhin ang mga numero mo sa LLM API cost calculator at ihambing sa table sa itaas. Kung pumipili ka pa sa pagitan ng open at closed model, inihahambing ng gastos ng API ng open-weight vs closed model ang per-token na presyo mula sa sariling page ng bawat provider. Ginagawa ng self-hosting vs API calculator ang buong break-even gamit ang nasukat mong throughput at ang mga presyong ito ng GPU.

Mga tanong

Mas mura bang i-self-host ang LLM kaysa gumamit ng API?

Sa mataas at tuloy-tuloy na volume lang. Sinisingil ang nirentahang GPU bawat oras; ang API, sa token lang na ginamit mo. Kung idle ang GPU mo sa karamihan ng araw, mas mura ang API kahit hindi pa binibilang ang oras ng engineering.

Magkano ang renta ng H100 kada oras?

Sa pricing page ng RunPod noong 2026-11-14, USD 4.39 kada oras ang H100 SXM sa Secure Cloud at mula USD 2.69 sa Community Cloud. Inilista ng Lambda ang on-demand na H100 SXM sa USD 4.59 hanggang 4.89 kada GPU-hour, depende sa laki ng node, sa mga presyong umiiral mula 2026-11-16. Tingnan ang mga page para sa kasalukuyang rate.

Ilang GPU ang kailangan ko para i-self-host ang malaking model?

Hindi bababa sa sapat na memory para sa weights at sa KV cache ng mga sabay-sabay mong request. Kadalasang kailangan ng multi-GPU node ang malalaking mixture-of-experts model. Tingnan ang model card para sa bilang ng parameter at inirerekomendang setup.

Kailan sulit ang self-hosting kahit mas mahal ito?

Kapag hindi puwedeng lumabas sa network mo ang data, kapag kailangan mo ng fine-tuned o custom na model na walang API na nagse-serve, o kapag kailangan mo ng garantisadong capacity. Mga dahilan iyan ng kontrol, hindi ng gastos.

Paano ko susukatin ang tunay na throughput ng GPU ko?

Patakbuhin ang tunay mong mga prompt sa tunay mong concurrency gamit ang serving engine gaya ng vLLM o SGLang, at itala ang kabuuang output token kada segundo sa lahat ng request. Ipinagpapalagay ng peak numbers ng vendor ang perpektong batching.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity