Saat model open-weight dirilis, tetap harus ada yang menjalankannya. Penyedia inferensi adalah perusahaan yang melakukannya.
Cara kerjanya
Penyedia memuat bobot model ke GPU, menjalankan perangkat lunak penyajian yang mengelompokkan permintaan dan mengelola memori, lalu memasang API di depannya. Sebagian besar menyediakan API kompatibel OpenAI, sehingga Anda berganti penyedia dengan mengubah base URL, kunci, dan ID model.
Istilah ini mencakup beberapa bentuk bisnis:
- Lab model yang menyajikan model buatannya sendiri.
- Host independen yang menyajikan model open-weight dari banyak lab.
- Cloud yang menyewakan GPU atau endpoint terkelola, kadang ditagih per GPU-hour.
- Agregator. Inference Providers dari Hugging Face memberi akses ke “hundreds of machine learning models, powered by world-class inference providers” (terjemahan: ratusan model machine learning yang didukung penyedia inferensi kelas dunia) lewat satu token. Router LLM bekerja dengan cara yang sama.
Karena format API-nya sama, kode yang sama berjalan di mana pun. Hanya tiga nilai yang berubah (komentar di kode: penyedianya, kuncinya, ID modelnya):
import os
from openai import OpenAI
msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
base_url="https://inference.broadnet.ai/v1", # the provider
api_key=os.environ["BROADNET_API_KEY"], # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs) # its model ID
Skema harganya juga berbeda: per token, per menit audio, per jam, atau tetap per sesi.
Kenapa ini penting
Memilih penyedia sebagian besar berarti memilih kompromi yang tidak terlihat dari nama modelnya:
- Penanganan data. Retensi, logging, dan pemakaian untuk pelatihan berbeda-beda. Cari kebijakan zero data retention yang tertulis.
- Tempat model berjalan. Region dan subprosesor penting untuk kepatuhan.
- Batas. Konkurensi, rate limit, dan panjang konteks bisa lebih rendah daripada batas maksimum model.
- Pilihan penyajian. Presisi dan pengaturan penyajian memengaruhi kecepatan, dan kadang output.
- Skema harga. Skema yang tepat bergantung pada trafik Anda; lihat perbandingan harga penyedia.
- Tingkat harga. Model open yang sama bisa berharga beberapa kali lipat lebih mahal di satu penyedia dibanding penyedia lain. Lihat model sama, host berbeda.
Di BroadNet Inference
BroadNet Inference adalah penyedia inferensi. Pernyataan privasinya menyebut model miliknya sendiri dan model open-weight yang di-hosting-nya “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (terjemahan: berjalan di perangkat keras milik atau sewaan BroadNet di Amerika Serikat, dengan kapasitas mitra sebagai cadangan), dan model yang dilayani mitra berjalan dengan ketentuan zero data retention bersama mitra inferensi di AS. Konten permintaan dan respons tidak disimpan.
BroadNet menawarkan model chat, termasuk DeepSeek V4.1 Flash dan GLM 5.3, serta dua model speech-to-text lewat API kompatibel OpenAI di https://inference.broadnet.ai/v1. Penagihannya bayar sesuai pemakaian per token atau per menit audio, kunci per jam, atau paket harga tetap untuk DeepSeek V4.1 Flash. Gunakan checklist penyedia untuk membandingkannya dengan penyedia lain berdasarkan kriteria Anda sendiri.