BroadRouter

BroadNet'in GPU donanımı ve sunum yaklaşımı, BroadNet'in anlatımıyla

BroadNet Inference ekibi · 5 dk okuma · Yayımlandı · Güncellendi

BroadNet, tek bir sunum yığınını üç donanım katmanında çalıştırdığını söylüyor: A100'den B300'e veri merkezi GPU'ları, sürekli açık genel API'yi taşıyan RTX ve DGX Spark kartlarından oluşan bir iş istasyonu katmanı ve müşteri sahalarındaki cihazlar. NVIDIA ve AMD'den 13 GPU ailesinde yaklaşık 270 model çalıştırdığını bildiriyor. Bazı API modelleri ise ABD'li çıkarım ortakları tarafından sunuluyor.

BroadNet çıkarım donanımını alışılmadık bir ayrıntıyla anlatıyor. Model kataloğu çalıştırdığını söylediği GPU’ları, kart başına ölçülen işlem hacmini ve aynı modelleri bu kartlarda çalıştırarak öğrendiklerini listeliyor. Bu sayfa BroadNet’in söylediklerini, önemli yerlerde kendi sözleriyle özetliyor. Donanımı biz incelemedik; ölçümler BroadNet’in kendisine ait ve Eylül 2026 tarihli.

BroadNet hangi donanımı çalıştırdığını söylüyor?

BroadNet “one fleet, three tiers, one stack” (BroadRouter çevirisi: tek filo, üç katman, tek yığın) çalıştırdığını söylüyor: veri merkezi hızlandırıcılarından müşteri sahalarındaki cihazlara kadar aynı motorlar, nicemlemeler ve ağ geçidi.

Katman BroadNet’in listelediği GPU’lar BroadNet’in kullanım amacı
Veri merkezi B300, B200, H200, H100, A100 80 GB Amiral gemisi modellerin sunumu, nicemleme ve kalibrasyon, ince ayar, ayrılmış özel uç noktalar, veri yerleşimi gerektiren yerleştirmeler
İş istasyonu RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 Sürekli açık genel API, CUDA ve ROCm genelinde kıyaslama, model geliştirme
Müşteri sahası DGX Spark GB10, kompakt AMD cihazları Aynı yığın üzerinde şirket içi ve internetten yalıtılmış kurulumlar

BroadNet toplamda yaklaşık 270 model çalıştırdığını, yaklaşık 200 kontrol noktası (checkpoint) yüklediğini, yaklaşık 40 model ailesi, 12 veya daha fazla nicemleme biçimi ve 13 GPU ailesi kullandığını bildiriyor. Ayrıca “a single H100 serves the entire current public catalogue with headroom” (BroadRouter çevirisi: tek bir H100, mevcut genel kataloğun tamamını pay bırakarak sunuyor) diyor.

Bu donanımda hangi API modelleri çalışıyor?

Hepsi değil. BroadNet’in gizlilik beyanı, kendi modellerinin ve barındırdığı açık ağırlıklı modellerin ABD’de BroadNet’e ait veya kiralık donanımda çalıştığını, yedek olarak ortak kapasitesi bulunduğunu ve ortaklar tarafından sunulan modellerin ABD’li çıkarım ortaklarında sıfır veri saklama koşullarıyla çalıştığını söylüyor. Hizmet Koşulları, DeepSeek V4.1 Flash modelini ortak tarafından barındırılan model olarak adlandırıyor.

BroadNet’in kendi sayfalarının model bazında söyledikleri:

API’deki model BroadNet’in belirttiği donanım
Gemma 4 VL 26B Sıcak yedekli NVIDIA Blackwell sınıfı GPU’lar
Transcribe Arabic ve Transcribe ABD’de BroadNet tarafından işletilen NVIDIA GPU’ları
DeepSeek V4.1 Flash Ortak tarafından barındırılıyor (Hizmet Koşulları §7.3)
GLM 5.3, Qwen3.8 27B API trafiği için belirtilmemiş

Verinizin nerede işlendiği sizin için önemliyse göndermeden önce BroadNet’e sorun. Çıkarım sayfası, MENA veya Avrupa’da bölgesel işlemenin talep üzerine mümkün olduğunu söylüyor.

Her GPU ne kadar hızlı?

BroadNet tek bir model için, 32 eşzamanlı istekte Qwen3-VL 30B A3B Instruct ile GPU başına toplam çıktı işlem hacmini yayımlıyor:

GPU Katman Bellek bant genişliği Toplam token/sn
B300 Veri merkezi 8.000 GB/s 14.500
B200 Veri merkezi 8.000 GB/s 14.000
H200 Veri merkezi 4.800 GB/s 8.400
H100 Veri merkezi 3.350 GB/s 5.800
A100 80 GB Veri merkezi 2.039 GB/s 3.500
RTX PRO 6000 Blackwell İş istasyonu 1.792 GB/s 3.100
RTX 3090 İş istasyonu 936 GB/s 1.630
DGX Spark GB10 İş istasyonu 273 GB/s 1.597
Radeon AI PRO R9700 İş istasyonu 640 GB/s 1.087

BroadNet, veri merkezi rakamlarının her kartta doğrudan yapılmış ölçümler değil, “planning numbers from our measured per-GPU curve” (BroadRouter çevirisi: ölçtüğümüz GPU başına eğriden çıkan planlama rakamları) olduğunu belirtiyor. Satırların çoğu, kod çözmede genellikle sınırlayıcı etken olan bellek bant genişliğiyle birlikte yükseliyor, ama hepsi değil: DGX Spark GB10 (273 GB/s) neredeyse RTX 3090 (936 GB/s) ile eşleşiyor, Radeon AI PRO R9700 (640 GB/s) ise ikisinin de gerisinde kalıyor.

BroadNet donanımının ona ne öğrettiğini söylüyor?

Katalog, her biri “measured on our own hardware” (BroadRouter çevirisi: kendi donanımımızda ölçüldü) olarak işaretlenmiş sekiz bulgu listeliyor. API alıcıları için en önemlileri:

  • CUDA ve ROCm. Aynı modeller NVIDIA CUDA ve AMD ROCm’da çalıştırıldığında CUDA, bellek bant genişliğini yaklaşık iki kat daha fazla token’a dönüştürdü; BroadNet iş yüklerini buna göre yerleştiriyor.
  • Yük altında spekülatif kod çözme. EAGLE3, 32 eşzamanlı istekte işlem hacminin %69’una mal oldu; bu yüzden BroadNet çok token’lı tahmin (MTP) taslakçılarında kaldı. Uno sunum çalışması aynı etkiyi başka bir yöntem için ölçüyor.
  • Sunum, ağırlıklar kadar önemli. Barındırılan bir sağlayıcının sunduğu aynı Gemma 4 26B ağırlıkları, BroadNet’in “our own serving” (BroadRouter çevirisi: kendi sunumumuz) dediği altyapıya göre ortalamada 0,13 daha düşük puan aldı. BroadNet’in kuralı: bir rakibi ve referans modelini karşılaştırmadan önce ikisini aynı sunum altyapısında tutun.
  • Daha küçük aktif model kazanabilir. 26B uzmanlar karışımı modeli, aktif parametrelerin yaklaşık sekizde biriyle yoğun Gemma 4 31B’yi 6 hat adımının 5’inde geçti.
  • Tek bir hatta öncü modellerle denklik. 240 iz üzerindeki kör bir değerlendirmede BroadNet’in sunduğu Gemma 4, ölçülen altı adımın beşinde Claude Sonnet ile eşleşti ve adım başına 1,2 ile 6,5 kat daha hızlı yanıt verdi.
  • İstek başına hız. BroadNet’in ölçümüne göre Qwen3-VL 30B A3B, BroadNet’in kendi sunumu olarak tanımladığı altyapıda istek başına saniyede 36,5 ile 110 token arasında çalıştı; BroadNet’in ölçtüğü dört OpenRouter sağlayıcısında ise 7 ile 19 arasında.
  • Mimari, model seçiminden üstündür. İki yerel görsel modelin anlaşamadığı zor bir sette, barındırılan bir hakem modele yükseltmek doğruluğu 12’de 1’den 12’de 11’e çıkardı.

Sonnet karşılaştırması en güçlü iddia ve kapsamı dar: BroadNet’in Gemma 4 sayfasına göre tek bir şirketin sohbet botu hattı, 11 kiracıdan 240 üretim konuşması üzerinde üç hakem tarafından kör olarak değerlendirildi. Bu, Gemma 4’ün genel olarak Sonnet’e denk olduğu anlamına gelmiyor. BroadNet bu değerlendirmenin tam bir raporunu araştırma sayfasında yayımlamadı.

Gemma 4 modeli nasıl sunuluyor?

Model sayfasına göre BroadNet’in Gemma 4 VL 26B modeli, sunum tercihlerinin en net örneği:

  • Ağırlıklar: Google’ın Gemma 4 26B A4B modeli, BroadNet tarafından 4 bit AWQ’ya nicemlenmiş. BroadNet NVFP4’ü test etti ve doğrudan karşılaştırmanın ardından bıraktı.
  • Kod çözme: iki taslak token’lı (k=2) çok token’lı tahmin spekülatif kod çözme ve fp8 bir KV önbelleği.
  • Şablon: BroadNet’in kendi konuşma iş akışı için ayarladığı bir sohbet şablonu.
  • Dayanıklılık: otomatik yük devretmeli sıcak yedek.
  • Sonuç: tek akışta saniyede yaklaşık 136 token ve BroadNet’in dahili kalite test setinde 90,86.

Terimler için nicemleme ve spekülatif kod çözme maddelerine bakın.

Bu sizin için ne anlama geliyor?

Kullandıkça öde kullanıcısı için BroadNet’in sunum tercihleri yayımlanan hızda (plan modelinde tipik saniyede yaklaşık 100 token) ve sınırlarda görünür: anahtar başına dakikada 30 istek ve aynı anda 4 istek. BroadNet’in koşullarına göre self-serviste erişilebilirlik taahhüdü yok; hizmet seviyeleri yalnızca yazılı bir sözleşmeyle geliyor. Diğer sağlayıcıların SLA’ları nasıl karşılaştırılıyor.

Daha büyük ihtiyaçlar için BroadNet, ayrılmış GPU’larda sizin modeliniz, anahtarınız, sınırlarınız ve bölgenizle özel uç noktalar ve aynı yığın üzerinde şirket içi cihazlar sunuyor. Bunu kendi GPU’larınızı kiralamakla tartıyorsanız kendi barındırma ve API maliyeti rehberimiz hesabı adım adım yapıyor; BroadNet’in elediği modeller yazısı da neyi sunacağını nasıl seçtiğini gösteriyor.

Sık sorulan sorular

BroadNet kendi GPU'larını mı çalıştırıyor?

BroadNet kendi NVIDIA ve AMD GPU filosunu işlettiğini söylüyor. Gizlilik beyanına göre kendi modelleri ve barındırdığı açık ağırlıklı modeller, ABD'de BroadNet'e ait veya kiralık donanımda çalışıyor; yedek olarak ortak kapasitesi var. DeepSeek V4.1 Flash gibi ortaklar tarafından sunulan modeller ABD'li çıkarım ortaklarında çalışıyor.

Genel API'yi hangi GPU sunuyor?

BroadNet'in kataloğu "the always-on public API" (BroadRouter çevirisi: sürekli açık genel API) için iş istasyonu katmanını gösteriyor (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Gemma 4 sayfası ise sıcak yedekli NVIDIA Blackwell sınıfı GPU'ları belirtiyor.

Yayımlanmış bir çalışma süresi (uptime) SLA'sı var mı?

Self-servis için yok. BroadNet'in Hizmet Koşulları'na göre self-serviste erişilebilirlik taahhüdü yok; hizmet seviyeleri yalnızca örneğin özel bir uç nokta için yapılan ayrı bir yazılı sözleşmede var.

Ayrılmış bir GPU alabilir miyim?

Evet. BroadNet ayrılmış bir GPU veya düğüm üzerinde, seçtiğiniz model, kendi anahtarınız ve sınırlarınız ve ihtiyaç duyduğunuz bölgeyle özel uç noktalar sunuyor. Fiyat, talep üzerine trafiğinize göre belirleniyor.

BroadNet modelleri kendi tesisimde çalıştırabilir mi?

BroadNet, müşteri sahası katmanının aynı yığını şirket içi (on-premise) ve internetten yalıtılmış (air-gapped) kurulumlar için DGX Spark GB10 ve kompakt AMD cihazlarında çalıştırdığını söylüyor.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor