BroadRouter

LLM yönlendirici (LLM router)

Güncellendi

LLM yönlendirici (router), bir uygulama ile bir veya daha fazla dil modeli API'si arasında duran ve her istek için maliyet, gecikme, erişilebilirlik veya görev türü gibi kurallara göre hangi modelin veya sağlayıcının isteği karşılayacağına karar veren bir yazılım ya da hizmettir.

Diğer adları: LLM yönlendirici, model yönlendirici, yapay zeka ağ geçidi, LLM router, AI gateway, LLM gateway, model router, LLM aggregator

Tek bir modelle konuşan bir uygulamanın router’a ihtiyacı yoktur. Router’lar, bir ekip birden fazla model veya sağlayıcı kullandığında ve aralarında seçim yapacak tek bir yer istediğinde ortaya çıkar.

Nasıl çalışır

Uygulama router’a OpenAI tarzı bir istek gönderir. Router kurallarını uygular, isteği bir arka uca iletir ve yanıtı aynı biçimde döndürür. Üç yaygın türü vardır:

  • Barındırılan toplayıcılar (aggregator). Örneğin OpenRouter, https://openrouter.ai/api/v1 adresinde otomatik yedeğe geçişle “hundreds of AI models through a single API endpoint” (çeviri: tek bir API uç noktası üzerinden yüzlerce yapay zeka modeli) sunar. Sizde tek anahtar ve tek fatura olur; sağlayıcılardaki hesapları toplayıcı tutar.
  • Kendi barındırdığınız gateway’ler. LiteLLM Router kendi altyapınızda çalışır. Trafiği dağıtımlar arasında yayar (varsayılan olarak basit karıştırma; ya da gecikmeye, kullanıma veya maliyete göre), hız sınırı hatalarını üstel geri çekilmeyle yeniden dener ve bir 429’dan ya da yüksek hata oranından sonra bir dağıtımı bekleme süresine (cooldown) alır.
  • Model seçen router’lar. RouteLLM gibi araştırmalar, kolay istemleri daha ucuz bir modele, zor olanları daha güçlü bir modele gönderen bir sınıflandırıcı eğitir; amaç kaliteyi kaybetmeden maliyeti düşürmektir.

Kendi barındırdığınız bir gateway, arka uçların listesi olarak yapılandırılır. Bu LiteLLM kaydı bir OpenAI uyumlu sağlayıcı ekler:

model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY

Neden önemli

  • Güvenilirlik. Bir sağlayıcı 429 veya 5xx hataları döndürdüğünde router başka birine geçebilir. Bkz. hız sınırları.
  • Maliyet. Basit istemleri daha ucuz bir modele göndermek faturayı düşürebilir.
  • Tek entegrasyon. Kod tek bir base URL ve tek bir anahtar biçimiyle konuşur.

Ödünleşimler gerçektir. Router bir ağ atlaması ekler. Barındırılan bir router, istemlerinizi gören bir taraf daha demektir; bu yüzden verilerin saklanması hem router’a hem de seçtiği sağlayıcıya bağlıdır. Modeller tokenizer’larda, akıl yürütme davranışında ve parametre desteğinde de farklılık gösterir; bu yüzden sessiz bir yedeğe geçiş yanıtları değiştirebilir.

BroadNet Inference’ta

BroadNet Inference bir router değildir. https://inference.broadnet.ai/v1 adresinde kısa bir model listesi sunan tek bir sağlayıcıdır; BroadNet’in Koşulları, modellerinin BroadNet’e ait veya kiralık ABD donanımında ya da ABD’deki çıkarım ortaklarıyla çalıştığını söyler. Sağlayıcılar arasında otomatik yönlendirme veya yedeğe geçiş yoktur. Modeli her istekte siz seçersiniz; örneğin broadnet/deepseek-v4.1-flash veya broadnet/glm-5.3.

API OpenAI uyumlu olduğu için bir router’ın arkasında arka uçlardan biri olarak durabilir. Kurulumu LiteLLM proxy rehberi gösterir. Bir router ile sabit fiyatlı bir sağlayıcının nasıl karşılaştırıldığı için ajanlar için OpenRouter alternatifi yazısını okuyun. BroadNet istemleri veya çıktıları saklamaz; önüne barındırılan bir router eklerseniz onun veri saklama politikasını da kontrol edin.

Sık yapılan hatalar

  • Bir 401 veya 403’ü başka bir sağlayıcıda yeniden denemek. Bunlar anahtar veya politika hatalarıdır; önce onları düzeltin. Bkz. hatalar ve yeniden denemeler.
  • Model adlarını birbirinin yerine geçebilir saymak. Her yedek modeli kendi istemlerinizle test edin.

Sık sorulan sorular

LLM router, yük dengeleyiciyle aynı şey mi?

Yük dengeleyici bir router'ın parçalarından biridir. Router ayrıca bir görev için farklı bir model seçebilir, bir hatadan sonra başka bir sağlayıcıya geçebilir ve API biçimleri arasında çeviri yapabilir. Sade bir yük dengeleyici ise trafiği yalnızca özdeş sunuculara dağıtır.

Router gecikme ekler mi?

Genellikle biraz; çünkü istek fazladan bir ağ atlaması yapar ve router isteği inceleyebilir. Yedeğe geçişler daha fazlasını ekleyebilir, çünkü yeniden denemeden önce başarısız bir deneme çalışır. İlk token'a kadar geçen süreyi router'lı ve router'sız ölçün.

BroadNet Inference bir LLM router mı?

Hayır. Bu sitenin adına rağmen BroadNet Inference tek bir sağlayıcıdır; BroadNet'in Koşulları, modellerinin BroadNet'e ait veya kiralık ABD donanımında ya da ABD'deki çıkarım ortaklarıyla çalıştığını söyler. Modeli her istekte siz seçersiniz. Onu bir router'ın arkasına sağlayıcılardan biri olarak yerleştirebilirsiniz.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor