Tek bir modelle konuşan bir uygulamanın router’a ihtiyacı yoktur. Router’lar, bir ekip birden fazla model veya sağlayıcı kullandığında ve aralarında seçim yapacak tek bir yer istediğinde ortaya çıkar.
Nasıl çalışır
Uygulama router’a OpenAI tarzı bir istek gönderir. Router kurallarını uygular, isteği bir arka uca iletir ve yanıtı aynı biçimde döndürür. Üç yaygın türü vardır:
- Barındırılan toplayıcılar (aggregator). Örneğin OpenRouter,
https://openrouter.ai/api/v1adresinde otomatik yedeğe geçişle “hundreds of AI models through a single API endpoint” (çeviri: tek bir API uç noktası üzerinden yüzlerce yapay zeka modeli) sunar. Sizde tek anahtar ve tek fatura olur; sağlayıcılardaki hesapları toplayıcı tutar. - Kendi barındırdığınız gateway’ler. LiteLLM Router kendi altyapınızda çalışır. Trafiği dağıtımlar arasında yayar (varsayılan olarak basit karıştırma; ya da gecikmeye, kullanıma veya maliyete göre), hız sınırı hatalarını üstel geri çekilmeyle yeniden dener ve bir 429’dan ya da yüksek hata oranından sonra bir dağıtımı bekleme süresine (cooldown) alır.
- Model seçen router’lar. RouteLLM gibi araştırmalar, kolay istemleri daha ucuz bir modele, zor olanları daha güçlü bir modele gönderen bir sınıflandırıcı eğitir; amaç kaliteyi kaybetmeden maliyeti düşürmektir.
Kendi barındırdığınız bir gateway, arka uçların listesi olarak yapılandırılır. Bu LiteLLM kaydı bir OpenAI uyumlu sağlayıcı ekler:
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
Neden önemli
- Güvenilirlik. Bir sağlayıcı 429 veya 5xx hataları döndürdüğünde router başka birine geçebilir. Bkz. hız sınırları.
- Maliyet. Basit istemleri daha ucuz bir modele göndermek faturayı düşürebilir.
- Tek entegrasyon. Kod tek bir base URL ve tek bir anahtar biçimiyle konuşur.
Ödünleşimler gerçektir. Router bir ağ atlaması ekler. Barındırılan bir router, istemlerinizi gören bir taraf daha demektir; bu yüzden verilerin saklanması hem router’a hem de seçtiği sağlayıcıya bağlıdır. Modeller tokenizer’larda, akıl yürütme davranışında ve parametre desteğinde de farklılık gösterir; bu yüzden sessiz bir yedeğe geçiş yanıtları değiştirebilir.
BroadNet Inference’ta
BroadNet Inference bir router değildir. https://inference.broadnet.ai/v1 adresinde kısa bir model listesi sunan tek bir sağlayıcıdır; BroadNet’in Koşulları, modellerinin BroadNet’e ait veya kiralık ABD donanımında ya da ABD’deki çıkarım ortaklarıyla çalıştığını söyler. Sağlayıcılar arasında otomatik yönlendirme veya yedeğe geçiş yoktur. Modeli her istekte siz seçersiniz; örneğin broadnet/deepseek-v4.1-flash veya broadnet/glm-5.3.
API OpenAI uyumlu olduğu için bir router’ın arkasında arka uçlardan biri olarak durabilir. Kurulumu LiteLLM proxy rehberi gösterir. Bir router ile sabit fiyatlı bir sağlayıcının nasıl karşılaştırıldığı için ajanlar için OpenRouter alternatifi yazısını okuyun. BroadNet istemleri veya çıktıları saklamaz; önüne barındırılan bir router eklerseniz onun veri saklama politikasını da kontrol edin.
Sık yapılan hatalar
- Bir 401 veya 403’ü başka bir sağlayıcıda yeniden denemek. Bunlar anahtar veya politika hatalarıdır; önce onları düzeltin. Bkz. hatalar ve yeniden denemeler.
- Model adlarını birbirinin yerine geçebilir saymak. Her yedek modeli kendi istemlerinizle test edin.