BroadRouter

Endpoint privat dimulai dari beban kerja yang jelas

Oleh tim BroadNet Inference · 7 menit baca · Dipublikasikan

Sebelum meminta endpoint privat, tuliskan beban kerjanya: permintaan per hari dan saat puncak, token input dan output, konkurensi yang dihasilkannya, konteks yang dibutuhkan, region pemrosesan, model dan lisensinya, serta anggaran. Sepakati region dan batas secara tertulis, lalu lakukan smoke test pada endpoint yang diberikan sebelum memakai data sungguhan.

“Kami butuh endpoint khusus” adalah awal sebuah percakapan, bukan spesifikasi. Penyedia tidak bisa mengukur, menempatkan, atau menghargai kapasitas tanpa angka dari Anda, dan Anda juga tidak bisa menilai jawabannya tanpa angka itu. Artikel ini mendaftar apa yang perlu ditentukan sebelum Anda meminta, dengan contoh ekstraksi data faktur, dan diakhiri dengan skrip untuk memeriksa endpoint yang diberikan kepada Anda.

Artikel ini berlaku untuk penyedia mana pun. Saat menjelaskan penawaran BroadNet, artikel ini berpegang pada apa yang disampaikan BroadNet secara publik, dicek pada 15 November 2026. Apa pun di luar itu adalah pertanyaan untuk BroadNet.

Kapan endpoint privat masuk akal?

Biasanya karena salah satu dari empat alasan:

  • Trafik di atas batas swalayan. Referensi API BroadNet menerbitkan 30 permintaan per menit dan 4 permintaan yang sedang berjalan untuk kunci bayar sesuai pemakaian. Beban kerja stabil di atas itu adalah persoalan kapasitas, bukan persoalan retry. (Menangani 429 membahas lonjakan singkat.)
  • Model yang tidak ada di daftar publik. Katalog BroadNet menandai beberapa model sebagai “available on request” (tersedia atas permintaan), termasuk Qwen3-VL 30B-A3B, Qwen3-VL 8B, dan hasil fine-tune BroadNet atas Cohere Transcribe Arabic. Membaca katalog model menjelaskan perbedaannya.
  • Lokasi pemrosesan yang harus Anda kendalikan. Aturan residensi data, seperti yang ada di checklist PDPL Saudi dan UEA, bisa mewajibkan region yang sudah Anda sepakati secara tertulis.
  • Latensi yang dapat diprediksi. Kapasitas bersama bervariasi sesuai beban pengguna lain. Kapasitas khusus menghilangkan variabel itu, meskipun tidak menghilangkan jarak jaringan atau ukuran prompt Anda sendiri.

Jika tidak ada yang berlaku, kunci swalayan lebih sederhana. Dan jika volume Anda sangat tinggi dan stabil, bandingkan dengan menjalankannya sendiri: biaya self-hosting vs API memuat metodenya.

Apa yang perlu ditentukan tentang beban kerja?

Tulis ringkasan satu halaman. Inilah angka-angka yang dibutuhkan penyedia:

Item Yang perlu ditulis Contoh
Tugas Apa yang dilakukan model, dalam satu kalimat Membaca foto faktur, mengembalikan field JSON
Volume Permintaan per hari, dan porsi di jam tersibuk 40.000 per hari, 15% di jam puncak
Token Rata-rata dan persentil ke-95 token input dan output 1.800 input (satu gambar halaman + prompt), 350 output
Konteks Permintaan tunggal terbesar, prompt ditambah jawaban 4.000 token
Latensi Waktu ke token pertama dan ke jawaban lengkap yang bisa diterima Jawaban lengkap dalam 10 detik
Streaming Dibutuhkan atau tidak Tidak dibutuhkan (gaya batch)
Input Teks, gambar, audio; format dan ukuran JPEG dan PNG, masing-masing satu halaman
Bahasa Bahasa apa saja, dan porsi masing-masing Arab dan Inggris, 60/40
Pertumbuhan Volume yang diharapkan dalam 6 dan 12 bulan Dua kali lipat dalam 12 bulan

Ukur jumlah token pada sampel nyata, bukan tebakan. Bahasa Arab sering membutuhkan lebih banyak token daripada bahasa Inggris untuk teks yang sama; penghitung token Arab dan biaya nyata per bahasa menunjukkan seberapa besar selisihnya di berbagai tokenizer. Untuk gambar, kalkulator token gambar memberi perkiraan awal.

Bagaimana mengubah volume menjadi token per detik dan konkurensi?

Permintaan per detik saat puncak adalah volume jam tersibuk dibagi 3.600. Konkurensi, yaitu jumlah permintaan yang berjalan bersamaan, mengikuti hukum Little: jumlah rata-rata dalam sebuah sistem sama dengan laju kedatangan dikali rata-rata waktu yang dihabiskan masing-masing di dalamnya. Untuk API, itu berarti permintaan per detik × detik per permintaan.

import math

def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
         in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
    """Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
    peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
    seconds_per_request = out_tokens / out_tok_per_s_per_stream        # ignores queueing and prompt time
    concurrency = peak_rps * seconds_per_request                      # Little's law: L = λ × W
    return {
        "peak_requests_per_second": round(peak_rps, 2),
        "seconds_per_request": round(seconds_per_request, 1),
        "concurrent_requests_at_peak": math.ceil(concurrency),
        "peak_input_tokens_per_second": round(peak_rps * in_tokens),
        "peak_output_tokens_per_second": round(peak_rps * out_tokens),
        "monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
    }

# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))

Skrip ini mencetak 1,67 permintaan per detik saat puncak, sekitar 5,8 detik per permintaan, 10 permintaan bersamaan, 3.000 token input dan 583 token output per detik, serta 2.580 juta token per bulan. Angka 60 token per detik adalah asumsi untuk contoh ini; ukur sendiri pada model yang akan Anda pakai, karena kecepatan bervariasi menurut model, panjang prompt, dan beban. Artikel latensi, TTFT, dan throughput menjelaskan apa yang perlu diukur waktunya.

Dua peringatan. Rumus ini mengabaikan waktu pemrosesan prompt, sehingga prompt panjang atau gambar besar membuat permintaan nyata lebih lambat dan mendorong konkurensi naik. Dan rata-rata menyembunyikan lonjakan: berikan kepada penyedia ukuran permintaan persentil ke-95 dan profil lonjakan singkat, bukan hanya rata-ratanya. Puncak dalam contoh ini (sekitar 100 permintaan per menit dan 10 berjalan bersamaan) jauh di atas batas swalayan yang diterbitkan untuk satu kunci bayar sesuai pemakaian, dan justru di situlah percakapan tentang kapasitas layak dilakukan.

Bagaimana dengan region, residensi data, dan batas?

Sepakati secara eksplisit dan tertulis sebelum data yang diatur regulasi berpindah. Ketentuan BroadNet (§7.3a) menyebutkan: “Contact us to agree processing locations for your deployment before sending data with residency requirements,” (Terjemahan BroadRouter: Hubungi kami untuk menyepakati lokasi pemrosesan deployment Anda sebelum mengirim data yang memiliki persyaratan residensi) dan bahwa pemrosesan yang di-host mitra serta pemrosesan cadangan melibatkan pemroses lain, dengan daftar subprosesor terkini yang tersedia bagi pelanggan atas permintaan. Pernyataan privasinya menyebut model milik BroadNet dan model open-weight yang di-host-nya berjalan di hardware milik atau sewaan BroadNet di Amerika Serikat, dengan kapasitas mitra sebagai cadangan, dan halaman ikhtisarnya menyebut pemrosesan regional di MENA atau Eropa tersedia atas permintaan.

Jadi pertanyaan untuk penyedia mana pun adalah:

  1. Region mana yang memproses permintaan, dan region mana yang menampung kapasitas cadangan?
  2. Subprosesor mana yang bisa menyentuh trafik, termasuk untuk failover atau overflow?
  3. Berapa batas laju, konkurensi, dan token endpoint, dan apa yang terjadi di atas batas itu?
  4. Ketentuan ketersediaan dan dukungan apa yang berlaku, dan di mana tertulisnya? Ketentuan BroadNet (§7.4) menyebut layanan swalayan tidak memiliki komitmen ketersediaan, dan bahwa endpoint privat dan kapasitas khusus mengikuti perjanjian tertulis terpisah Anda. Untuk melihat apa yang dicakup SLA tertulis dari penyedia lain, baca perbandingan SLA API LLM.
  5. Apa yang disimpan? Untuk API inferensi BroadNet, posisi yang diterbitkan adalah: konten inferensi tidak disimpan; metadata akun, penagihan, dan keamanan yang diperlukan disimpan sebagaimana dijelaskan dalam pernyataan privasi-nya. Pastikan hal yang sama berlaku untuk endpoint Anda.

Model mana, dan dengan lisensi apa?

Sebutkan model dan versinya secara persis, dan periksa bahwa lisensinya mengizinkan penggunaan Anda dan penyajian lewat API. Halaman model BroadNet mencantumkan Apache-2.0 untuk Gemma 4 26B, Qwen3-VL 30B-A3B, dan bobot dasar Cohere Transcribe, sedangkan hasil fine-tune BroadNet atas Cohere Transcribe Arabic berstatus “under contract” (berdasarkan kontrak). Ketentuannya menyebut model diatur oleh lisensinya masing-masing, dan lisensi DeepSeek V4.1 Flash tetap berlaku saat di-host mitra.

Sepakati juga jendela konteksnya. Batas konteks bergantung pada model dan deployment, bukan hanya pada maksimum model dasar: BroadNet mencantumkan 32K token untuk Gemma 4 VL 26B di API publiknya dan 16K untuk Qwen3-VL 30B-A3B, yang tersedia atas permintaan. Gunakan kalkulator jendela konteks dengan permintaan terbesar Anda, bukan rata-ratanya.

Bagaimana menetapkan anggaran?

BroadNet tidak menerbitkan harga endpoint privat; halaman ikhtisarnya menyebut “Reserved GPU, priced to your traffic. Ask for a quote.” (Terjemahan BroadRouter: GPU khusus, harga sesuai trafik Anda. Minta penawaran.) Jadi tetapkan plafon Anda sendiri lebih dulu. Hitung harga beban kerja yang sama secara swalayan dengan kalkulator biaya API LLM, memakai jumlah token bulanan dari skrip pengukuran, lalu putuskan berapa nilai tambahan dari kapasitas yang dapat diprediksi, sebuah region, atau model yang tidak publik bagi Anda. Penawaran di bawah angka swalayan adalah bonus; penawaran yang jauh di atasnya perlu alasan dari daftar kebutuhan Anda.

Bagaimana mengirim permintaan penawaran?

Referensi API BroadNet menyebutkan: “Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.” (Terjemahan BroadRouter: Endpoint privat, model fine-tune bahasa Arab kami, dan model lain atas permintaan diakses dengan ID privat yang diberikan bersama endpoint.) Halaman ikhtisarnya meminta “your model, languages and traffic requirements” (Terjemahan BroadRouter: model, bahasa, dan kebutuhan trafik Anda). Kirim ringkasan satu halaman Anda lewat halaman kontak, tanpa kunci API atau data pelanggan. Sertakan output pengukuran, region, model dan lisensi, target latensi, plafon anggaran, dan jadwal Anda.

Bagaimana memvalidasi endpoint yang diberikan?

Sebelum trafik produksi, uji endpoint terhadap apa yang telah disepakati. Skrip ini hanya memakai pustaka standar Python. Skrip memeriksa bahwa ID model privat berfungsi, bahwa streaming diakhiri penanda data: [DONE] seperti yang dijelaskan dokumentasi BroadNet, bahwa konkurensi yang disepakati berjalan tanpa 429, dan bahwa ID model yang salah ditolak.

import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor

BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/")    # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"]                # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))

def post(payload: dict, stream=False):
    req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
        headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
    t0 = time.monotonic()
    try:
        with urllib.request.urlopen(req, timeout=120) as r:
            body = r.read().decode()
            return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
    except urllib.error.HTTPError as e:
        return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0

def main() -> int:
    msg = [{"role": "user", "content": "Reply with the word OK."}]
    results = {}
    code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
    ok = code == 200 and "usage" in json.loads(body)
    results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
    code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
                             "stream_options": {"include_usage": True}})
    results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
    with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
        codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
                              range(AGREED_CONCURRENCY)))
    results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
    code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
    results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
    for name, (passed, note) in results.items():
        print(f"{'PASS' if passed else 'FAIL'}  {name}: {note}")
    return 0 if all(p for p, _ in results.values()) else 1

if __name__ == "__main__":
    sys.exit(main())

Kami menjalankannya terhadap server tiruan lokal (bukan endpoint sungguhan) yang mengizinkan 8 permintaan berjalan bersamaan. Dengan AGREED_CONCURRENCY=8, keempat pemeriksaan lulus. Dengan 12, pemeriksaan konkurensi gagal dengan delapan 200 dan empat 429, dan itulah hasil yang ingin Anda lihat sebelum peluncuran, bukan sesudahnya. max_tokens=1000 menyisakan ruang untuk model penalaran, yang menghabiskan sebagian anggaran sebelum menjawab.

Setelah smoke test, jalankan load test singkat pada puncak yang Anda ukur dengan prompt berukuran nyata, dan catat waktu ke token pertama serta latensi jawaban lengkap dari endpoint. Simpan request ID-nya; dokumentasi BroadNet meminta X-Request-ID, timestamp, rute, dan status dalam permintaan dukungan.

Di mana posisi BroadNet Inference?

BroadRouter adalah situs milik BroadNet sendiri. BroadNet Inference menjual akses swalayan ke model publik per token, per menit audio, per sesi paket, dan per kunci per jam; harga ada di halaman harga. Endpoint privat, pemrosesan regional, fine-tune, dan model yang tercantum “on request” (atas permintaan) bukan layanan swalayan: semuanya adalah permintaan penawaran yang dihargai dan disepakati BroadNet secara tertulis. Artikel ini tidak bisa memberi tahu apa yang akan ditawarkan BroadNet untuk beban kerja Anda. Ringkasan yang jelas adalah cara untuk mengetahuinya.

Pertanyaan umum

Apa itu endpoint LLM privat?

Endpoint API yang didukung kapasitas khusus untuk satu pelanggan, bukan dibagi dengan semua pengguna swalayan. BroadNet menggambarkan versinya sebagai GPU atau node khusus dengan model pilihan Anda, kunci dan batas Anda sendiri, serta region yang Anda butuhkan, diakses dengan ID model privat.

Bagaimana memperkirakan konkurensi yang saya butuhkan?

Gunakan hukum Little: permintaan bersamaan = permintaan per detik saat puncak × detik per permintaan. 1,67 permintaan per detik dengan masing-masing sekitar 5,8 detik berarti sekitar 10 permintaan berjalan bersamaan. Ukur detik per permintaan pada model sungguhan dengan prompt Anda yang sebenarnya.

Bisakah saya membeli endpoint privat BroadNet secara swalayan?

Tidak. BroadNet menyajikan endpoint privat, pemrosesan regional, dan model yang tidak tercantum sebagai permintaan penawaran: Anda menjelaskan beban kerjanya dan BroadNet memberi penawaran harga. Ketentuannya menyebut endpoint privat dan kapasitas khusus mengikuti perjanjian tertulis terpisah.

Apakah endpoint privat disertai SLA?

Hanya jika perjanjian tertulis Anda menyebutkannya. Ketentuan BroadNet menyatakan bahwa layanan swalayan tidak memiliki komitmen ketersediaan dan bahwa tingkat layanan hanya ada dalam perjanjian tertulis terpisah. Mintalah ketentuan persisnya sebelum Anda mengandalkannya.

Di mana data saya akan diproses?

Sepakati sebelum Anda mengirim data. Ketentuan BroadNet meminta pelanggan dengan persyaratan residensi data untuk menyepakati lokasi pemrosesan lebih dulu, dan menyebut pemrosesan yang di-host mitra serta pemrosesan cadangan melibatkan pemroses lain, dengan daftar subprosesor yang tersedia bagi pelanggan atas permintaan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity