“Ayrılmış bir uç noktaya ihtiyacımız var” cümlesi bir şartname değil, bir konuşmanın başlangıcıdır. Sağlayıcı sizin rakamlarınız olmadan kapasiteyi boyutlandıramaz, konumlandıramaz ve fiyatlandıramaz; siz de onlar olmadan sağlayıcının yanıtını değerlendiremezsiniz. Bu yazı, fatura verisi çıkarma örneği üzerinden, istemeden önce neyi tanımlamanız gerektiğini listeliyor ve size verilen uç noktayı kontrol eden bir betikle bitiyor.
Yazı her sağlayıcı için geçerli. BroadNet’in teklifini anlattığı yerlerde, BroadNet’in herkese açık olarak söylediklerine bağlı kalıyor (15 Kasım 2026’da kontrol edildi). Bunun ötesindeki her şey BroadNet’e sorulacak bir soru.
Özel uç nokta ne zaman mantıklıdır?
Genellikle dört nedenden biri için:
- Self-servis sınırlarının üstünde trafik. BroadNet’in API başvurusu, kullandıkça öde anahtarı için dakikada 30 istek ve aynı anda 4 istek sınırı yayımlıyor. Bunun üstünde sürekli bir iş yükü, bir yeniden deneme sorusu değil, bir kapasite sorusudur. (Kısa ani yükselmeleri 429’ları ele alma yazısı anlatıyor.)
- Herkese açık listede olmayan bir model. BroadNet’in kataloğu bazı modelleri “available on request” (talep üzerine sunulur) olarak işaretliyor; Qwen3-VL 30B-A3B, Qwen3-VL 8B ve BroadNet’in Cohere Transcribe Arabic için yaptığı ince ayar bunlar arasında. Farkı bir model kataloğunu okuma yazısı açıklıyor.
- Kontrol etmeniz gereken bir işleme konumu. Suudi Arabistan ve BAE PDPL kontrol listesindekiler gibi veri yerelleştirme kuralları, yazılı olarak kararlaştırdığınız bir bölge gerektirebilir.
- Öngörülebilir gecikme. Paylaşılan kapasite diğer kullanıcıların yüküyle değişir. Ayrılmış kapasite bu değişkeni ortadan kaldırır; ağ mesafesini veya kendi istem boyutlarınızı değil.
Bunların hiçbiri geçerli değilse self-servis bir anahtar daha basittir. Hacminiz çok yüksek ve sabitse kendiniz çalıştırmakla da karşılaştırın: yöntem kendi sunucunda barındırma ile API maliyeti yazısında.
İş yükü hakkında neler tanımlanmalı?
Tek sayfalık bir özet yazın. Sağlayıcının ihtiyaç duyduğu rakamlar şunlar:
| Kalem | Ne yazılmalı | Örnek |
|---|---|---|
| Görev | Modelin ne yaptığı, tek cümleyle | Fatura fotoğraflarını oku, JSON alanları döndür |
| Hacim | Günlük istek ve en yoğun saatin payı | Günde 40.000, %15’i en yoğun saatte |
| Token’lar | Ortalama ve 95. yüzdelik girdi ve çıktı token’ları | 1.800 girdi (tek sayfa görsel + istem), 350 çıktı |
| Bağlam | En büyük tek istek, istem artı yanıt | 4.000 token |
| Gecikme | Kabul edilebilir ilk token süresi ve tam yanıt süresi | Tam yanıt 10 saniye içinde |
| Akış | Gerekli mi değil mi | Gerekli değil (toplu iş tarzı) |
| Girdiler | Metin, görsel, ses; biçimler ve boyutlar | JPEG ve PNG, her biri tek sayfa |
| Diller | Hangileri ve her birinin payı | Arapça ve İngilizce, 60/40 |
| Büyüme | 6 ve 12 ay sonra beklenen hacim | 12 ayda iki katı |
Token sayılarını tahminle değil, gerçek örnekler üzerinde ölçün. Arapça, aynı metin için çoğu zaman İngilizceden daha fazla token gerektirir; Arapça token sayacı ve dile göre gerçek maliyet farklı tokenizer’larda farkın ne kadar olduğunu gösteriyor. Görseller için görsel token hesaplayıcısı ilk tahmini veriyor.
Hacim, saniye başına token’a ve eşzamanlılığa nasıl çevrilir?
En yoğun andaki saniye başına istek, en yoğun saatin hacminin 3.600’e bölünmesidir. Eşzamanlılık, yani aynı anda işlenen istek sayısı, Little yasasından çıkar: bir sistemdeki ortalama sayı, geliş hızı ile her birinin orada geçirdiği ortalama sürenin çarpımına eşittir. Bir API için bu, saniye başına istek × istek başına saniyedir.
import math
def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
"""Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
seconds_per_request = out_tokens / out_tok_per_s_per_stream # ignores queueing and prompt time
concurrency = peak_rps * seconds_per_request # Little's law: L = λ × W
return {
"peak_requests_per_second": round(peak_rps, 2),
"seconds_per_request": round(seconds_per_request, 1),
"concurrent_requests_at_peak": math.ceil(concurrency),
"peak_input_tokens_per_second": round(peak_rps * in_tokens),
"peak_output_tokens_per_second": round(peak_rps * out_tokens),
"monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
}
# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))
Betik en yoğun anda saniyede 1,67 istek, istek başına yaklaşık 5,8 saniye, 10 eşzamanlı istek, saniyede 3.000 girdi ve 583 çıktı token’ı ve ayda 2.580 milyon token yazdırdı. Saniyede 60 token, örnek için yapılmış bir varsayım; hız modele, istem uzunluğuna ve yüke göre değiştiği için kendi değerinizi kullanacağınız modelde ölçün. Neyin ölçüleceğini gecikme, TTFT ve işlem hacmi yazısı açıklıyor.
İki uyarı. Formül istem işleme süresini yok sayar; bu yüzden uzun istemler veya büyük görseller gerçek istekleri yavaşlatır ve eşzamanlılığı yukarı iter. Ayrıca ortalamalar ani yükselmeleri gizler: sağlayıcıya yalnızca ortalamayı değil, 95. yüzdelik istek boyutunuzu ve kısa bir ani yük profilini verin. Bu örneğin en yoğun anı (dakikada yaklaşık 100 istek ve aynı anda 10 istek), tek bir kullandıkça öde anahtarı için yayımlanan self-servis sınırlarının epey üstünde; kapasite görüşmesine değdiği an da tam olarak budur.
Bölge, veri yerelleştirme ve sınırlar ne olacak?
Düzenlemeye tabi herhangi bir veri hareket etmeden önce bunları açıkça ve yazılı olarak kararlaştırın. BroadNet’in Koşulları (§7.3a) şöyle diyor: “Contact us to agree processing locations for your deployment before sending data with residency requirements,” (BroadRouter çevirisi: Yerelleştirme gereksinimleri olan verileri göndermeden önce dağıtımınızın işleme konumlarını kararlaştırmak için bizimle iletişime geçin) ve iş ortağında barındırılan ve yedek işlemenin başka işleyicileri içerdiğini, güncel alt işleyici listesinin talep üzerine müşterilere sunulduğunu ekliyor. Gizlilik bildirimi, BroadNet’in kendi modellerinin ve barındırdığı açık ağırlıklı modellerin Amerika Birleşik Devletleri’nde BroadNet’e ait veya kiralık donanımda çalıştığını, iş ortağı kapasitesinin yedek olduğunu söylüyor; genel bakış sayfası ise MENA’da veya Avrupa’da bölgesel işlemenin talep üzerine sunulduğunu belirtiyor.
Bu yüzden her sağlayıcıya sorulacak sorular şunlar:
- İstekleri hangi bölge işliyor, yedek kapasite hangi bölgede?
- Yük devretme veya taşma dahil, trafiğe hangi alt işleyiciler dokunabilir?
- Uç noktanın hız, eşzamanlılık ve token sınırları neler ve bunların üstünde ne olur?
- Hangi erişilebilirlik ve destek koşulları geçerli ve bunlar nerede yazılı? BroadNet’in Koşulları (§7.4) self-servis kullanımda erişilebilirlik taahhüdü olmadığını, özel uç noktaların ve ayrılmış kapasitenin ayrı yazılı sözleşmenize tabi olduğunu söylüyor. Diğer sağlayıcıların yazılı SLA’larının neyi kapsadığını görmek için LLM API SLA karşılaştırması yazısını okuyun.
- Ne saklanıyor? BroadNet’in çıkarım API’si için yayımlanan tutum şu: çıkarım içeriği saklanmaz; gerekli hesap, faturalandırma ve güvenlik meta verileri gizlilik bildiriminde açıklandığı şekilde saklanır. Aynısının sizin uç noktanız için de geçerli olduğunu doğrulayın.
Hangi model, hangi lisansla?
Modeli ve sürümünü tam olarak belirtin ve lisansının kullanımınıza ve API üzerinden sunuma izin verdiğini kontrol edin. BroadNet’in model sayfaları Gemma 4 26B, Qwen3-VL 30B-A3B ve Cohere Transcribe temel ağırlıkları için Apache-2.0 listeliyor; BroadNet’in Cohere Transcribe Arabic ince ayarı ise “under contract” (sözleşmeye tabi). Koşulları, modellerin kendi lisanslarına tabi olduğunu ve DeepSeek V4.1 Flash’ın lisansının iş ortağında barındırıldığında da geçerli olduğunu söylüyor.
Bağlam penceresini de kararlaştırın. Bağlam sınırları yalnızca temel modelin azami değerine değil, modele ve dağıtıma bağlıdır: BroadNet, herkese açık API’sinde Gemma 4 VL 26B için 32K token, talep üzerine sunulan Qwen3-VL 30B-A3B için 16K token listeliyor. Bağlam penceresi hesaplayıcısını ortalama isteğinizle değil, en büyük isteğinizle kullanın.
Bütçe nasıl belirlenmeli?
BroadNet özel uç nokta fiyatı yayımlamıyor; genel bakış sayfası “Reserved GPU, priced to your traffic. Ask for a quote.” (BroadRouter çevirisi: Ayrılmış GPU, trafiğinize göre fiyatlandırılır. Teklif isteyin.) diyor. Bu yüzden önce kendi tavanınızı belirleyin. Aynı iş yükünü, boyutlandırma betiğindeki aylık token sayısıyla LLM API maliyet hesaplayıcısında self-servis olarak fiyatlandırın ve öngörülebilir kapasitenin, bir bölgenin veya herkese açık olmayan bir modelin bunun üstüne sizin için ne kadar değerli olduğuna karar verin. Self-servis rakamının altında bir teklif bonus sayılır; çok üstündeki bir teklifin ise gereksinim listenizden bir gerekçesi olmalı.
Talep nasıl gönderilir?
BroadNet’in API başvurusu şöyle diyor: “Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.” (BroadRouter çevirisi: Özel uç noktalara, Arapça ince ayarlarımıza ve talep üzerine sunulan diğer modellere, uç noktayla birlikte verilen özel bir kimlikle erişilir.) Genel bakış sayfası “your model, languages and traffic requirements” (BroadRouter çevirisi: modeliniz, dilleriniz ve trafik gereksinimleriniz) bilgilerini istiyor. Tek sayfalık özetinizi API anahtarı veya müşteri verisi olmadan iletişim sayfası üzerinden gönderin. Boyutlandırma çıktısını, bölgeyi, modeli ve lisansı, gecikme hedefini, bütçe tavanınızı ve zaman çizelgenizi ekleyin.
Size verilen uç nokta nasıl doğrulanır?
Üretim trafiğinden önce uç noktayı kararlaştırılanlara göre test edin. Bu betik yalnızca Python standart kütüphanesini kullanıyor. Özel model kimliğinin çalıştığını, akışın BroadNet belgelerinin tarif ettiği data: [DONE] işaretiyle bittiğini, kararlaştırılan eşzamanlılığın 429 almadan çalıştığını ve yanlış bir model kimliğinin reddedildiğini kontrol ediyor.
import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor
BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/") # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"] # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))
def post(payload: dict, stream=False):
req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
t0 = time.monotonic()
try:
with urllib.request.urlopen(req, timeout=120) as r:
body = r.read().decode()
return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
except urllib.error.HTTPError as e:
return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0
def main() -> int:
msg = [{"role": "user", "content": "Reply with the word OK."}]
results = {}
code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
ok = code == 200 and "usage" in json.loads(body)
results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
"stream_options": {"include_usage": True}})
results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
range(AGREED_CONCURRENCY)))
results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
for name, (passed, note) in results.items():
print(f"{'PASS' if passed else 'FAIL'} {name}: {note}")
return 0 if all(p for p, _ in results.values()) else 1
if __name__ == "__main__":
sys.exit(main())
Betiği, aynı anda 8 isteğe izin veren yerel bir sahte sunucuya karşı çalıştırdık (gerçek bir uç nokta değil). AGREED_CONCURRENCY=8 ile dört kontrolün tamamı geçti. 12 ile eşzamanlılık kontrolü sekiz 200 ve dört 429 ile başarısız oldu; bu, yayından sonra değil, önce görmek istediğiniz sonuçtur. max_tokens=1000, yanıt vermeden önce bütçenin bir kısmını harcayan akıl yürütme modellerine pay bırakır.
Hızlı testten sonra, gerçek boyutlu istemlerle ölçtüğünüz en yoğun yükte kısa bir yük testi çalıştırın ve uç noktanın ilk token süresini ve tam yanıt gecikmesini kaydedin. İstek kimliklerini saklayın; BroadNet’in belgeleri destek taleplerinde X-Request-ID, zaman damgası, rota ve durum bilgisini istiyor.
BroadNet Inference nereye oturuyor?
BroadRouter, BroadNet’in kendi sitesidir. BroadNet Inference, herkese açık modellere token başına, ses dakikası başına, oturum planıyla ve saatlik anahtarla self-servis erişim satıyor; fiyatlar fiyat sayfasında. Özel uç noktalar, bölgesel işleme, ince ayarlar ve “on request” (talep üzerine) olarak listelenen modeller self-servis değildir: BroadNet’in fiyat teklifi verip yazılı olarak kararlaştırdığı taleplerdir. Bu yazı, BroadNet’in sizin iş yükünüz için ne sunacağını söyleyemez. Bunu öğrenmenin yolu net bir özettir.
